这是一个在慕课网的实战课学习项目
感谢 ccmouse 老师
- 去重采用 redis 的 Cuckoo Filter
- 分布式调用采用 grpc
- Cuckoo Filter 最大存放量仅 10,000 左右
- 后续按 id 分桶存入
Docker 运行 带有 Cuckoo Filter 的 Redis
docker run -d \
--name redis-rebloom \
-v ~/DockerData/redis-rebloom:/data \
-p 6379:6379 \
redislabs/rebloom \
redis-server \
--loadmodule "/usr/lib/redis/modules/redisbloom.so" \
--appendonly yes --requirepass "Redis12345679#"
Docker 运行 Elastic Search
docker run -d --name=single-elasticsearch \
-p 9200:9200 \
-p 9300:9300 \
-e "discovery.type=single-node" \
-v elasticsearch_data:/usr/share/elasticsearch/data \
docker.elastic.co/elasticsearch/elasticsearch:7.14.0