Skip to content

Releases: cuihairu/redis-streaming

v0.2.0

01 Jan 13:36

Choose a tag to compare

🎉 版本概述

Redis Streaming v0.2.0 是一个重要的里程碑版本,在 v0.1.1 的基础上新增了 124 个提交,包括 17 个新功能、41 个测试增强、12 个性能优化和 Bug 修复。本版本重点增强了流处理运行时能力、完善了 Exactly-Once
语义支持、大幅提升了测试覆盖率,并全面重构了文档体系。

🚀 核心新功能

  1. Redis 分布式运行时环境
  • ✅ 新增 Redis-backed Runtime,支持分布式流处理
  • ✅ 支持事件时间处理和 Watermark 传播
  • ✅ 支持基于 Watermark 的窗口计算
  • ✅ 完整的 Checkpoint 协调和故障恢复机制
  • ✅ 单进程并行处理能力
  1. Exactly-Once 语义支持
  • ✅ Redis-only atomic checkpoint sink(纯 Redis 原子检查点)
  • ✅ 批量原子 Sink 提交优化
  • ✅ Checkpoint 与 Exactly-Once 的完整实现
  1. 流处理核心功能
  • ✅ Watermark 生成器:支持有序/乱序事件处理
  • ✅ 窗口分配器:滚动窗口、滑动窗口、会话窗口
  • ✅ 窗口触发器:基于 Watermark 的触发机制
  • ✅ 聚合增强:UV 计数器、分位数分析器
  1. MQ 增强
  • ✅ 背压控制:MQ backpressure 支持
  • ✅ 分区指标:partition metrics 暴露
  • ✅ 租约限制:每个消费者的租约分区数上限
  • ✅ 管道并行度:pipeline parallelism 配置
  1. CDC 增强
  • ✅ MySQL Binlog 列名解析修复
  • ✅ 数据库轮询连接器稳定性增强
  • ✅ 连接器同步停止机制
  1. 可靠性增强
  • ✅ Bloom Filter 去重
  • ✅ 窗口去重
  • ✅ 死信队列处理增强
  1. 配置中心完善
  • ✅ 真实的配置元数据实现
  • ✅ Redis 配置服务路径覆盖
  1. Spring Boot Starter 增强
  • ✅ 暴露 MQ backpressure 和租约上限配置
  • ✅ 实例 ID 端口解析修复

📊 测试与质量

测试覆盖率大幅提升

  • 41 个测试相关提交,覆盖模块:
    • MQ API、Admin、Broker、Lease
    • Registry 负载均衡
    • CDC 连接器
    • Runtime 环境
    • Config 配置服务
    • 边缘情况和异常场景

测试改进

  • 扩展单元覆盖率至边缘情况
  • 新增负载均衡器单元测试
  • CDC 和 MQ 深度测试

📚 文档全面重构

文档站点升级

  • ✅ Wiki 子模块迁移:所有文档从 wiki 迁移至 docs/ 目录
  • ✅ VuePress 2.0:升级到最新版本,支持 Mermaid 图表
  • ✅ 模块文档补全:新增 8 个模块的详细文档
    • Config 配置中心
    • State 状态管理
    • Checkpoint 检查点
    • Watermark 水位线
    • Window 窗口
    • Reliability 可靠性
    • Runtime 运行时
    • Source & Sink 连接器

文档结构优化

  • 分类导航(快速开始、核心概念、模块文档、设计文档、运维指南)
  • Mermaid 架构图支持
  • 中英文文档分离

🔧 性能优化

  • 批量原子提交:Checkpoint 时批量提交 Sink,减少开销
  • 背压控制:防止内存溢出和系统过载
  • 并行处理优化:管道并行度提升吞吐量

🐛 Bug 修复

核心修复

  • Runtime 迭代器捕获编译问题修复
  • Config 元数据实现修复
  • CDC 连接器稳定性增强
  • Aggregation 分析工具加固
  • MQ Admin 持久化和组读取修复
  • Table Redis 编码统一
  • Sink/Source 可测试性重构

文档修复

  • 大小写敏感问题(文件名)
  • Mermaid 语法兼容性修复(v11.12.2)
  • Wiki 引用清理
  • 循环引用修复

📦 模块完善状态

本版本完善了以下模块的实现:

模块 v0.1.1 状态 v0.2.0 状态 变更
Runtime 基础实现 ✅ 完整实现 Redis 分布式、Checkpoint、Exactly-Once
Watermark ❌ 未实现 ✅ 完成 策略+生成器,Event-time 支持
Window 部分实现 ✅ 完成 滚动/滑动/会话窗口,完整 Trigger
Checkpoint 基础实现 ✅ 完成 分布式协调,原子 Sink
MQ ✅ 完成 ✅ 增强 背压、指标、租约限制
CDC ✅ 完成 ✅ 增强 Binlog 修复,稳定性提升
Config 基础实现 ✅ 完成 元数据、路径覆盖
Reliability 部分实现 ✅ 完成 去重、窗口去重
Docs Wiki ✅ VuePress 完整重构、Mermaid 支持

🔄 升级指南

依赖变更

io.github.cuihairu redis-streaming-spring-boot-starter 0.2.0

配置变更

  • 新增 Redis Runtime 配置选项
  • MQ backpressure 配置
  • 租约限制配置
  • Metrics 暴露配置

行为变更

  • 默认启用 Checkpoint:生产环境建议启用
  • Event-time 支持:需配置 Timestamp Assigner
  • 背压默认启用:防止内存溢出

🎯 下一步计划 (v0.3.0)

  • 增强 CEP 模式匹配
  • 更多 Sink/Source 连接器
  • GraphQL API 支持
  • 分布式 DAG 调度

🙏 致谢

感谢所有贡献者的支持!特别感谢社区反馈帮助我们发现和修复问题。


📝 变更统计

  • 总提交数: 124
  • 新功能: 17
  • 测试增强: 41
  • Bug 修复: 12
  • 文档更新: 30+
  • 代码行数: +5000+ 行测试代码
  • 文档页数: 8 个新模块文档

🔗 相关链接

v0.1.1

20 Oct 07:18

Choose a tag to compare

Full Changelog: v0.1.0...v0.1.1

v0.1.0

18 Oct 22:18

Choose a tag to compare