Welcome to Taier V1.1 Discussions!

[jiemotongxue]

👋 Welcome! Taier V1.1（Time：3.1~4.15）

核心功能开发:

  1. 数据同步 脚本模式、增量同步、 脏数据、断点续传功能完善
  2. flink sql (tab保留 运行曲线、运行日志、属性参数)、实时采集任务类型支持(checkpoint)
      （起停策略、告警、血缘分析、脏数据分析、操作记录不保留）
        (资源统一 ，flink 函数 和spark 函数 区分目录）
  3. 任务开发、部分调度 相关dao未使用mybatis plus来操作 直接迁移的xml
  4. 数据同步任务代码精简，可以根据现支持的数据源代码结构调整
  5. 任务开发readlock等相关昂沉代码未删除
  6. 无用的vo 、dto未删除彻底
  7. 部分大字段（oom问题检测）
  8. hive 组件 hive sql添加 绑定租户对接hive
  9. flink1.12 版本支持
  10. 增加Docker 方式启动

重构功能开发:

 1. plugins-api 分离
 2. taier-data-develop和taier-scheduler模块中service分离，梳理模块职责

可排期功能开发:

 1. Shell、HadoopMR、PySpark、Python 任务开发
 2. 工作流任务开发
 3. 任务告警  
 4. 任务可提交指定队列提交

与 chunjun 的协同（双剑合璧）

• 数据同步支持的数据源： oracle mysql postgresql sqlserver hive hdfs hbase es
• 实时采集：binlog/logminer -> kafka
• flink sql：kafka(source) + mysql(dim) == > hbase/mysql/es