Project summarize

[artikell]

目标

a high-performance, large-capacity, multi-tenant, data-persistent, strong data consistency based on raft, Redis-compatible elastic KV data storage system based on RocksDB

• 高性能
• 大容量
• 多租户
• 数据持久化
• 基于raft的数据一致性
• 兼容Redis协议

代码结构

流水线

流水线代表项目的CICD流程，在github上面也能说明一个项目是如何运行，以下是当前包含的流水线：

• import_braft.yml：针对raft架构的一致性测试流程
• issue-translator.yml：一个自动翻译issue的插件，https://github.com/dromara/issues-translate-action/
• ​kiwidb.yml​：编译版本，并运行ctest、e2e等测试
• pr-title-checker.yaml：pr标题检查的流程
• release-drafter.yml：版本发布相关？不太熟悉
• release.yml：版本发布相关？不太熟悉

从编译看

根目录的CMakeLists.txt有点长，当前重点关注一下部分：

• 子cmake文件的引入：
  • 工具类流程
    • findTools.cmake # 查找各种构建工具（如clang-format, clang-tidy等）
    • precommit.cmake # 用于安装git pre-commit钩子
  • 依赖库
    • braft.cmake # BRaft分布式共识库
    • brpc.cmake # BRPC RPC框架
    • fmt.cmake # fmt格式化库
    • gflags.cmake # gflags命令行参数解析库
    • gtest.cmake # Google Test单元测试框架
    • leveldb.cmake # LevelDB键值存储数据库
    • lz4.cmake # LZ4压缩库
    • openssl.cmake # OpenSSL加密库
    • protobuf.cmake # Protocol Buffers序列化库
    • rocksdb.cmake # RocksDB高性能键值存储
    • snappy.cmake # Snappy压缩库
    • spdlog.cmake # spdlog日志库
    • zlib.cmake # zlib压缩库
    • zstd.cmake # Zstandard压缩库
• 子目录编译：
  • src/std：标准库
  • src/net：网络相关功能
  • src/raft：raft相关功能
  • src/storage：存储相关功能
  • src/resp：协议相关功能
  • src：主体代码
• 相关扫描：
  • clang_tidy：代码静态分析功能
  • clang_format：代码格式化功能

关键路径

启动路径

KiwiDB是服务的核心结构体，负责整个的初始化、启动、停止动作。

其中关键的属性包括：

• kiwi::CmdThreadPool cmd_threads_;

• std::unique_ptrnet::EventServer>> event_server_;

• std::unordered_map<kiwi::BlockKey, std::unique_ptrstd::list>, kiwi::BlockKeyHash>

  key\_to\_blocked\_conns\_;
  

整个启动流程核心就是启动一个event_server对象和一些cmd_threads。

• event_server：启动多个线程，并开始监听对应的addr，并启动n个IOThread来运行一个eventLoop
• cmd_threads：整个操作分为了快慢2个线程池

这里有个思考：https://github.com/arana-db/kiwi/issues/87，注意IOThread和cmdThread是一个n:m的关系

在链接管理上，主要有event_server对象来管理：

• SetOnInit：用于初始化一个client对象
• SetOnCreate：获取到addr，并完成建联后的初始化，插入client列表中
• SetOnConnect：建联后做的一些操作
• SetOnMessage：客户端发送请求后的回调操作，并执行处理任务
• SetOnClose：当客户端关闭操作时做的回调动作，主要是将client移出列表

建联路径

这里有点复杂，因此直接上调用链路

• EpollEvent::EventPoll
  • EpollEvent::EventRead
    • getConn_ -> EpollEvent::DoRead
      • ListenSocket::OnReadable
        • ListenSocket::Accept
        • BaseSocket::OnCreate
    • onCreate_ => BaseEvent::SetOnCreate
      • ThreadManager::OnNetEventCreate
        • on_init_ => event_server_->SetOnInit
        • on_create_ => event_server_->SetOnCreate
        • IOThread::AddNewEvent
          • EpollEvent::AddEvent

A => B 表示A实际调用B

请求路径

当前客户端获取到数据后，还是先由IOThread读取，并解析请求体，其中主要通过RespParse类来实现解析，并处理确定是否完成解析操作。

大部分漏洞攻击都出自于这里。

当IOThread完成解析后，将会区分出几部分逻辑，并分开执行：

• ​来自Raft的请求​：提交给Raft对象进行处理，当前还是在IOThread中处理，当前主要是2个操作，join、remove
• ​来自Master的请求​：检查当前主从同步状态，根据状态进行处理（代码已经被注释），或继续执行命令
• ​未鉴权的请求​：直接返回拒绝操作
• ​快慢请求​：提交到对应的快慢请求线程去执行

当提交给cmd_thread处理时，会通过命令的params去查询到对应的命令对象，最终会将params传入给cmd去执行。

在整个链路中包括了参数检查、状态检查、db切换等操作。这里省略，读者自行学习

各个命令被抽象为BaseCmd的子类，整个实现都在src/cmd_*.cc中。

执行过程也分为了2步走：

• DoInitial：针对参数解析出关键信息，例如key、ex参数等
• DoCmd：实际执行逻辑，并生成返回结果，使用client->SetRes逻辑实现response的生成。

在执行逻辑中，除了实现正确性外，核心关注如何与raft和rocksdb的交互。以HSET命令为例：

• 直接请求STORE_INST执行hset操作：
  • 找到对应db实例并请求：STORE_INST.GetBackend(client->GetCurrentDB())->GetStorage()->HSet(client->Key(), field, value, &temp);
• 直接请求到Redis对象中，其中抽象了一层redis命令的逻辑，这里请求hset接口
  • 查询key的meta数据：db_->Get(default_read_options_, handles_[kMetaCF], base_meta_key.Encode(), &meta_value);
  • 查询具体的field信息：s = db_->Get(default_read_options_, handles_[kHashesDataCF], hashes_data_key.Encode(), &data_value);
  • 尝试插入field数据：batch->Put(kHashesDataCF, hashes_data_key.Encode(), internal_value.Encode());

BaseCmd=> STORE_INST=> Redis 这3层抽象有点分不清主次，都包含了对Redis接口的抽象。

定时操作

在event_server可以插入定时任务：event_server_->AddTimerTask(timerTask);

当前任务包括2个：

• PReplication::Cron：主从同步的定时操作，例如ping，状态管理等
• KiwiDB::ScanEvictedBlockedConnsOfBlrpop：阻塞命令的实现并返回

而在整个Timer的执行来看，主要是在BaseEvent层，通过全局锁来阻塞并处理。关键逻辑：timer_->OnTimer();

持久化

关于持久化，主要是通过了一个Batch来实现管理，在命令执行前，都会去创建一个Batch对象，直到处理完成后，会直接执行提交操作：batch->Commit()

创建流程中，会根据状态修改持久化的回调：

• ​若是raft操作​：等待raft完成后，再持久化，参考Raft::on_apply和Raft::AppendLog方法
• ​若是默认状态​：使用rocksdb的持久化方式

inline auto Batch::CreateBatch(Redis* redis) -> std::unique_ptr<Batch> {
  if (redis->GetAppendLogFunction()) {
    return std::make_unique<BinlogBatch>(redis->GetAppendLogFunction(), redis->GetIndex(), redis->GetRaftTimeout());
  }
  return std::make_unique<RocksBatch>(redis->GetDB(), redis->GetWriteOptions(), redis->GetColumnFamilyHandles());
}

代码抽象

逐步完善结构体之间的关系

关键结构体

列举出来了一下关键结构体，做了一些介绍，就当做一个名词字典即可

• KiwiDB
• PClient

网络管理

• IOThread：IO线程对象，控制线程实际的执行流程
• ThreadManager：线程管理器，管理单个线程生命周期
• EventServer：管理整个事件
• BaseEvent：事件管理器，可以认为是epoll等事件模型的抽象，最终交由IOThread来运行
  • EpollEvent
  • KqueueEvent
• NetEvent：抽象出的网络事件对象，可以挂载到BaseEvent中
  • BaseSocket
    • ListenSocket
    • StreamSocket
      • ClientSocket
• CmdThreadPool：一个管理命令处理的线程池，通过task来与IOThread交互
• CmdThreadPoolTask
• CmdWorkThreadPoolWorker：针对命令处理的线程的抽象，用于CmdThreadPool的交互
  • CmdFastWorker
  • CmdSlowWorker
• Timer：一个优先对象实现的定时任务管理器

IO流程

• DB：对rocksdb的抽象
• Redis：正在实现了redis命令与rocksdb的对接
• Storage：隔离逻辑层与rocksdb的一层抽象，管理一系列的Redis对象和DB对象
• Batch：用于持久化用的抽象层
  • RocksBatch
  • BinlogBatch

功能结构

• RespEncode
• RespParse
• BaseCmd
• Config
• Options

WIP：关键功能实现

读写分离能力

Raft能力

Block命令实现

过期/逐出能力？

已知问题

参考：https://github.com/arana-db/kiwi/issues，梳理

工作流问题

• 单测问题修复中
• macos存在内存泄漏问题？

命令实现问题

• brpop命令可能存在的问题
• Bugs of HELLO command

Ref

PikiwiDB 架构入门：arana-db/kiwi#144

存储层一些可优化点：arana-db/kiwi#127

代码学习：https://meeting.tencent.com/crm/KeYVZDYW15 （password：YDEN）

pacifica算法：https://www.scp.net.cn/blog/pacifica/

DTCC 2024一些见闻：arana-db/kiwi#2

Pika 新存储结构：OpenAtomFoundation/pikiwidb#2052