Releases: cuihairu/redis-streaming
Releases · cuihairu/redis-streaming
v0.2.0
🎉 版本概述
Redis Streaming v0.2.0 是一个重要的里程碑版本,在 v0.1.1 的基础上新增了 124 个提交,包括 17 个新功能、41 个测试增强、12 个性能优化和 Bug 修复。本版本重点增强了流处理运行时能力、完善了 Exactly-Once
语义支持、大幅提升了测试覆盖率,并全面重构了文档体系。
🚀 核心新功能
- Redis 分布式运行时环境
- ✅ 新增 Redis-backed Runtime,支持分布式流处理
- ✅ 支持事件时间处理和 Watermark 传播
- ✅ 支持基于 Watermark 的窗口计算
- ✅ 完整的 Checkpoint 协调和故障恢复机制
- ✅ 单进程并行处理能力
- Exactly-Once 语义支持
- ✅ Redis-only atomic checkpoint sink(纯 Redis 原子检查点)
- ✅ 批量原子 Sink 提交优化
- ✅ Checkpoint 与 Exactly-Once 的完整实现
- 流处理核心功能
- ✅ Watermark 生成器:支持有序/乱序事件处理
- ✅ 窗口分配器:滚动窗口、滑动窗口、会话窗口
- ✅ 窗口触发器:基于 Watermark 的触发机制
- ✅ 聚合增强:UV 计数器、分位数分析器
- MQ 增强
- ✅ 背压控制:MQ backpressure 支持
- ✅ 分区指标:partition metrics 暴露
- ✅ 租约限制:每个消费者的租约分区数上限
- ✅ 管道并行度:pipeline parallelism 配置
- CDC 增强
- ✅ MySQL Binlog 列名解析修复
- ✅ 数据库轮询连接器稳定性增强
- ✅ 连接器同步停止机制
- 可靠性增强
- ✅ Bloom Filter 去重
- ✅ 窗口去重
- ✅ 死信队列处理增强
- 配置中心完善
- ✅ 真实的配置元数据实现
- ✅ Redis 配置服务路径覆盖
- Spring Boot Starter 增强
- ✅ 暴露 MQ backpressure 和租约上限配置
- ✅ 实例 ID 端口解析修复
📊 测试与质量
测试覆盖率大幅提升
- 41 个测试相关提交,覆盖模块:
- MQ API、Admin、Broker、Lease
- Registry 负载均衡
- CDC 连接器
- Runtime 环境
- Config 配置服务
- 边缘情况和异常场景
测试改进
- 扩展单元覆盖率至边缘情况
- 新增负载均衡器单元测试
- CDC 和 MQ 深度测试
📚 文档全面重构
文档站点升级
- ✅ Wiki 子模块迁移:所有文档从 wiki 迁移至 docs/ 目录
- ✅ VuePress 2.0:升级到最新版本,支持 Mermaid 图表
- ✅ 模块文档补全:新增 8 个模块的详细文档
- Config 配置中心
- State 状态管理
- Checkpoint 检查点
- Watermark 水位线
- Window 窗口
- Reliability 可靠性
- Runtime 运行时
- Source & Sink 连接器
文档结构优化
- 分类导航(快速开始、核心概念、模块文档、设计文档、运维指南)
- Mermaid 架构图支持
- 中英文文档分离
🔧 性能优化
- 批量原子提交:Checkpoint 时批量提交 Sink,减少开销
- 背压控制:防止内存溢出和系统过载
- 并行处理优化:管道并行度提升吞吐量
🐛 Bug 修复
核心修复
- Runtime 迭代器捕获编译问题修复
- Config 元数据实现修复
- CDC 连接器稳定性增强
- Aggregation 分析工具加固
- MQ Admin 持久化和组读取修复
- Table Redis 编码统一
- Sink/Source 可测试性重构
文档修复
- 大小写敏感问题(文件名)
- Mermaid 语法兼容性修复(v11.12.2)
- Wiki 引用清理
- 循环引用修复
📦 模块完善状态
本版本完善了以下模块的实现:
| 模块 | v0.1.1 状态 | v0.2.0 状态 | 变更 |
|---|---|---|---|
| Runtime | 基础实现 | ✅ 完整实现 | Redis 分布式、Checkpoint、Exactly-Once |
| Watermark | ❌ 未实现 | ✅ 完成 | 策略+生成器,Event-time 支持 |
| Window | 部分实现 | ✅ 完成 | 滚动/滑动/会话窗口,完整 Trigger |
| Checkpoint | 基础实现 | ✅ 完成 | 分布式协调,原子 Sink |
| MQ | ✅ 完成 | ✅ 增强 | 背压、指标、租约限制 |
| CDC | ✅ 完成 | ✅ 增强 | Binlog 修复,稳定性提升 |
| Config | 基础实现 | ✅ 完成 | 元数据、路径覆盖 |
| Reliability | 部分实现 | ✅ 完成 | 去重、窗口去重 |
| Docs | Wiki | ✅ VuePress | 完整重构、Mermaid 支持 |
🔄 升级指南
依赖变更
io.github.cuihairu redis-streaming-spring-boot-starter 0.2.0配置变更
- 新增 Redis Runtime 配置选项
- MQ backpressure 配置
- 租约限制配置
- Metrics 暴露配置
行为变更
- 默认启用 Checkpoint:生产环境建议启用
- Event-time 支持:需配置 Timestamp Assigner
- 背压默认启用:防止内存溢出
🎯 下一步计划 (v0.3.0)
- 增强 CEP 模式匹配
- 更多 Sink/Source 连接器
- GraphQL API 支持
- 分布式 DAG 调度
🙏 致谢
感谢所有贡献者的支持!特别感谢社区反馈帮助我们发现和修复问题。
📝 变更统计
- 总提交数: 124
- 新功能: 17
- 测试增强: 41
- Bug 修复: 12
- 文档更新: 30+
- 代码行数: +5000+ 行测试代码
- 文档页数: 8 个新模块文档
🔗 相关链接
v0.1.1
Full Changelog: v0.1.0...v0.1.1
v0.1.0
Full Changelog: https://github.com/cuihairu/redis-streaming/commits/v0.1.0