20240106 weekly

[DeepBunny]

PikiwiDB feature：

老模型一些问题：

• 1 client 与 slave 线程池耦合；
• 2 网络库 pink 跟上层逻辑代码耦合；
• 3 主从同步逻辑复杂，无法做到强一致性；
• 4 积累了很多历史债务，优化难度高，解决一些疑难杂症的成本非常高；
• 5 不适配云原生：多租户、存算分离、rebalance；
• 6 Redis 最新接口的适配有问题，尤其是主从同步跟 Redis 完全不兼容；
• 7 无法做到级联：只能实现 一主多从 的并联形态，无法实现 M -> S -> S 这种级联形态，也即 S 后面无法再挂一个 S；

目标：

• 1 new binlog；
• 2 raft which compatible with master-slave mode；
• 3 split the compute and storage under RocksDB on S3;

core

Item	Priority	Issue/Pr	Owner	Description
Command 命令处理	P0	OpenAtomFoundation/pikiwidb#31	谦祥 + 陈世旗	待谦祥提方案
存储模型	P0			leveldb -> rocksdb: 一些 snappy 等压缩方式需要单独提交 PR 继续改进
主从同步模型	P0		panlei	pika binlog
主体逻辑多线程改造	P0			事务、pubsub、list pop 等
command 改造	P0	https://github.com/OpenAtomFoundation/pikiwidb/pull/101/files#		等merge后进行bw命令改造
binlog	P0			等huang出方案

todo:

• 1 binlog for master-slave; raft; slot
• 2 master -> slave replication： (1) using redis command SYNC&PSYNC; (2) using RocksDB WAL instead of pika binlog by RocksDB API GetUpdateSince()
• 3 redis cache
• 4 info command
• 5 hello command

集群

Item	Priority	Issue/Pr	Owner	Description

Pika binlog + braft -> 1 经典模式； 2 raft 模式。

可观测

Item	Priority	Issue/Pr	Owner	Description

工具集

Item	Priority	Issue/Pr	Owner	Description

云原生

Item	Priority	Issue/Pr	Owner	Description

质量建设

Item	Priority	Issue/Pr	Owner	Description
feature: add go test for pikiwidb from pika			OpenAtomFoundation/pikiwidb#75

• gtest ut
• redis tcl ut：尽量在将来的 go test 中重写
• go test：ut or e2e