77
88## 引言
99
10- DataSphere Studio(简称DSS)是微众银行自研的一站式数据应用开发管理门户 。
10+ DataSphere Studio(简称DSS)是微众银行自研的数据应用开发管理集成框架 。
1111
1212基于插拔式的集成框架设计,及计算中间件 [ ** Linkis** ] ( https://github.com/WeBankFinTech/Linkis ) ,可轻松接入上层各种数据应用系统,让数据开发变得简洁又易用。
1313
@@ -37,81 +37,87 @@ DSS主要特点:
3737
3838   ;   ;   ;   ; 3、数据质量管理工具——[ Qualitis] ( https://github.com/WeBankFinTech/Qualitis )
3939
40-   ;   ;   ;   ; 4、工作流调度工具——[ Azkaban ] ( https://azkaban. github.io/ )
40+   ;   ;   ;   ; 4、工作流调度工具——[ Schedulis ] ( https://github.com/WeBankFinTech/Schedulis )
4141
42-   ;   ;   ;   ; ** DSS插拔式的框架设计模式,允许用户快速替换DSS已集成的各个Web系统** 。如:将Scriptis替换成Zeppelin,将Azkaban替换成DolphinScheduler。
42+   ;   ;   ;   ; 5、数据交换工具——[ Exchangis] ( https://github.com/WeBankFinTech/Exchangis ) (** 已支持免密跳转,等待Exchangis发版** )
43+
44+   ;   ;   ;   ; 6、数据Api服务——[ DataApiService] ( )
45+
46+   ;   ;   ;   ; ** DSS插拔式的框架设计模式,允许用户快速替换DSS已集成的各个Web系统** 。如:将 Scriptis 替换成Zeppelin,将 Schedulis 替换成DolphinScheduler。
4347
4448![ DSS一站式] ( images/zh_CN/readme/onestop.gif )
4549
46- ### 二、基于Linkis计算中间件,打造独有的AppJoint设计理念
50+ ### 二、基于Linkis计算中间件,打造独有的AppConn设计理念
4751
48-   ;   ;   ;   ; AppJoint ,是DSS可以简单快速集成各种上层Web系统的核心概念。
52+   ;   ;   ;   ; AppConn ,是DSS可以简单快速集成各种上层Web系统的核心概念。
4953
50-   ;   ;   ;   ; AppJoint——应用关节,定义了一套统一的前后台接入规范,可让外部数据应用系统快速简单地接入,成为DSS数据应用开发中的一环。
54+   ;   ;   ;   ; AppConn——应用连接器,定义了一套统一的前后台接入协议,总共分为三级规范,可让外部数据应用系统快速简单地接入,成为DSS数据应用开发中的一环。
55+
56+   ;   ;   ;   ; AppConn的三级规范即:一级SSO规范,二级组织结构规范,三级开发流程规范;
5157
52-   ;   ;   ;   ; DSS通过串联多个AppJoint ,编排成一条支持实时执行和定时调度的工作流,用户只需简单拖拽即可完成数据应用的全流程开发。
58+   ;   ;   ;   ; DSS通过串联多个 AppConn ,编排成一条支持实时执行和定时调度的工作流,用户只需简单拖拽即可完成数据应用的全流程开发。
5359
54-   ;   ;   ;   ; 由于AppJoint对接了Linkis ,外部数据应用系统因此具备了资源管控、并发限流、用户资源管理等能力,且允许上下文信息跨系统级共享,彻底告别应用孤岛。
60+   ;   ;   ;   ; 由于 AppConn 对接了Linkis ,外部数据应用系统因此具备了资源管控、并发限流、用户资源管理等能力,且允许上下文信息跨系统级共享,彻底告别应用孤岛。
5561
56- ### 三、Project级管理单元
62+ ### 三、Workspace级管理单元
5763
58-   ;   ;   ;   ; 以Project为管理单元 ,组织和管理各数据应用系统的业务应用,定义了一套跨数据应用系统的项目协同开发通用标准 。
64+   ;   ;   ;   ; 以 Workspace 为管理单元 ,组织和管理各数据应用系统的业务应用,定义了一套跨数据应用系统的工作空间协同开发通用标准,并提供了用户角色管理能力 。
5965
6066### 四、已集成的数据应用组件
6167
62-   ;   ;   ;   ; DSS通过实现多个AppJoint ,已集成了丰富多样的各种上层数据应用系统,基本可满足用户的数据开发需求。
68+   ;   ;   ;   ; DSS通过实现多个AppConn ,已集成了丰富多样的各种上层数据应用系统,基本可满足用户的数据开发需求。
6369
6470   ;   ;   ;   ; ** 用户如果有需要,也可以轻松集成新的数据应用系统,以替换或丰富DSS的数据应用开发流程。**
6571
66-   ;   ;   ;   ; 1、DSS的调度能力——Azkaban AppJoint
72+   ;   ;   ;   ; 1、DSS的调度能力——Schedulis AppConn
6773
6874  ;   ;   ;   ;   ;   ; 用户的很多数据应用,通常希望具备周期性的调度能力。
6975
7076  ;   ;   ;   ;   ;   ; 目前市面上已有的开源调度系统,与上层的其他数据应用系统整合度低,且难以融通。
7177
72-   ;   ;   ;   ;   ;   ; DSS通过实现Azkaban AppJoint ,允许用户将一个编排好的工作流,一键发布到Azkaban中进行定时调度 。
78+   ;   ;   ;   ;   ;   ; DSS通过实现Schedulis AppConn ,允许用户将一个编排好的工作流,一键发布到 Schedulis 中进行定时调度 。
7379
7480  ;   ;   ;   ;   ;   ; DSS还为调度系统定义了一套标准且通用的DSS工作流解析发布规范,让其他调度系统可以轻松与DSS实现低成本对接。
7581
76- ![ Azkaban] ( images/zh_CN/readme/Azkaban_AppJoint .gif )
82+ ![ Azkaban] ( images/zh_CN/readme/Azkaban_AppConn .gif )
7783
78-   ;   ;   ;   ; 2、数据开发——Scriptis AppJoint
84+   ;   ;   ;   ; 2、数据开发——Scriptis AppConn
7985
8086  ;   ;   ;   ;   ;   ; 什么是[ Scriptis] ( https://github.com/WeBankFinTech/Scriptis ) ?
8187
8288  ;   ;   ;   ;   ;   ; Scriptis是一款支持在线写SQL、Pyspark、HiveQL等脚本,提交给[ Linkis] ( https://github.com/WeBankFinTech/Linkis ) 执行的数据分析Web工具,且支持UDF、函数、资源管控和智能诊断等企业级特性。
8389
84-   ;   ;   ;   ;   ;   ; Scriptis AppJoint为DSS集成了Scriptis的数据开发能力 ,并允许Scriptis的各种脚本类型,作为DSS工作流的节点,参与到应用开发的流程中。
90+   ;   ;   ;   ;   ;   ; Scriptis AppConn为DSS集成了Scriptis的数据开发能力 ,并允许Scriptis的各种脚本类型,作为DSS工作流的节点,参与到应用开发的流程中。
8591
8692  ;   ;   ;   ;   ;   ; 目前已支持HiveSQL、SparkSQL、Pyspark、Scala等脚本节点类型。
8793
88- ![ Scriptis] ( images/zh_CN/readme/Scriptis_AppJoint .gif )
94+ ![ Scriptis] ( images/zh_CN/readme/Scriptis_AppConn .gif )
8995
90-   ;   ;   ;   ; 3、数据可视化——Visualis AppJoint
96+   ;   ;   ;   ; 3、数据可视化——Visualis AppConn
9197
9298  ;   ;   ;   ;   ;   ; 什么是Visualis?
9399
94100  ;   ;   ;   ;   ;   ; Visualis是一个基于宜信开源项目Davinci二次开发的数据可视化BI工具,为用户在数据安全和权限方面,提供金融级数据可视化能力。
95101
96-   ;   ;   ;   ;   ;   ; Visualis AppJoint为DSS集成了Visualis的数据可视化能力 ,并允许数据大屏和仪表盘,作为DSS工作流的节点,与上游的数据集市关联起来。
102+   ;   ;   ;   ;   ;   ; Visualis AppConn为DSS集成了Visualis的数据可视化能力 ,并允许数据大屏和仪表盘,作为DSS工作流的节点,与上游的数据集市关联起来。
97103
98- ![ Visualis] ( images/zh_CN/readme/Visualis_AppJoint .gif )
104+ ![ Visualis] ( images/zh_CN/readme/Visualis_AppConn .gif )
99105
100-   ;   ;   ;   ; 4、数据质量——Qualitis AppJoint
106+   ;   ;   ;   ; 4、数据质量——Qualitis AppConn
101107
102-   ;   ;   ;   ;   ;   ; Qualitis AppJoint 为DSS集成数据质量校验能力,将数据质量系统集成到DSS工作流开发中,对数据完整性、正确性等进行校验。
108+   ;   ;   ;   ;   ;   ; Qualitis AppConn 为DSS集成数据质量校验能力,将数据质量系统集成到DSS工作流开发中,对数据完整性、正确性等进行校验。
103109
104- ![ Qualitis] ( images/zh_CN/readme/Qualitis_AppJoint .gif )
110+ ![ Qualitis] ( images/zh_CN/readme/Qualitis_AppConn .gif )
105111
106-   ;   ;   ;   ; 5、数据发送——Sender AppJoint
112+   ;   ;   ;   ; 5、数据发送——Sender AppConn
107113
108-   ;   ;   ;   ;   ;   ; Sender AppJoint为DSS集成数据发送能力 ,目前支持SendEmail节点类型,所有其他节点的结果集,都可以通过邮件发送。
114+   ;   ;   ;   ;   ;   ; Sender AppConn为DSS集成数据发送能力 ,目前支持SendEmail节点类型,所有其他节点的结果集,都可以通过邮件发送。
109115
110116  ;   ;   ;   ;   ;   ; 例如:SendEmail节点可直接将Display数据大屏作为邮件发送出来。
111117
112-   ;   ;   ;   ; 6、信号节点——Signal AppJoint
118+   ;   ;   ;   ; 6、信号节点——Signal AppConn
113119
114-   ;   ;   ;   ;   ;   ; EventChecker AppJoint用于强化业务与流程之间的解耦和相互关联 。
120+   ;   ;   ;   ;   ;   ; EventChecker AppConn用于强化业务与流程之间的解耦和相互关联 。
115121
116122  ;   ;   ;   ;   ;   ; DataChecker节点:检查库表分区是否存在。
117123
@@ -127,80 +133,100 @@ DSS主要特点:
127133
128134   ;   ;   ;   ;   ;   ; ** 根据需要,用户可以简单快速替换DSS已集成的各种功能组件,或新增功能组件。**
129135
136+ ## 已集成应用工具
137+
138+ | 应用工具 | 描述 | DSS0.X 版本要求 | DSS1.0 版本要求 | 版本规划 |
139+ | --------------- | -------------------------------------------------------------------- | --------------------------------------------------------------------- | ---------- | ------ |
140+ | ** ApiService** | 数据API服务。可快速将脚本发布为一个Restful接口,提供访问能力 | 不支持 | >=1.0.0 | 已发布 |
141+ | ** Airflow** | 支持将DSS工作流发布到Airflow进行定时调度 | >=0.9.1,尚未合并 | on going | [ 待规划] ( ) |
142+ | ** Streamis** | 流式应用平台。支持发布Flink Jar 和 Flink SQL ,提供流式应用的开发调试和生产管理能力,如:启停、状态监控、checkpoint等。 | 不支持 | >=1.0.0 | [ 即将发布] ( ) |
143+ | ** UserManager** | 自动初始化一个DSS新用户所必须的所有用户环境,包含:创建Linux用户、各种用户路径、目录授权等 | >=0.9.1 | on going | 待规划 |
144+ | ** EventCheck** | 提供跨业务、跨工程和跨工作流的信号发送能力。 | >=0.5.0 | >=1.0.0 | 已发布 |
145+ | ** SendEmail** | 提供数据发送能力,所有其他节点的结果集,都可以通过邮件发送 | >=0.5.0 | >=1.0.0 | 已发布 |
146+ | [ ** Scriptis** ] ( https://github.com/WeBankFinTech/Scriptis ) | 支持在线写SQL、Pyspark、HiveQL等脚本,提交给[ Linkis] ( https://github.com/WeBankFinTech/Linkis ) 执行的数据分析Web工具。 | >=0.5.0 | >=1.0.0 | 已发布 |
147+ | [ ** Visualis** ] ( https://github.com/WeBankFinTech/Visualis ) | 基于宜信开源项目Davinci二次开发的数据可视化BI工具,为用户在数据安全方面提供金融级数据可视化能力。 | >=0.5.0 | >=1.0.0 | 已发布 |
148+ | [ ** Qualitis** ] ( https://github.com/WeBankFinTech/Qualitis ) | 数据质量校验工具,提供数据完整性、正确性等数据校验能力 | >=0.5.0 | >=1.0.0 | [ 待发布] ( ) |
149+ | [ ** Schedulis** ] ( https://github.com/WeBankFinTech/Schedulis ) | 基于Azkaban二次开发的工作流任务调度系统,具备高性能,高可用和多租户资源隔离等金融级特性。 | >=0.5.0 | >=1.0.0 | 已发布 |
150+ | [ ** Exchangis** ] ( https://github.com/WeBankFinTech/Exchangis ) | 支持对结构化及无结构化的异构数据源之间的数据传输的数据交换平台 | 不支持 | >=1.0.0 | [ 待发布] ( ) |
151+
152+
130153## Demo试用环境
131154
132-   ;   ;   ;   ; 由于DataSphereStudio支持执行脚本风险较高 ,WeDataSphere Demo环境的隔离没有做完,考虑到大家都在咨询Demo环境,决定向社区先定向发放邀请码,接受企业和组织的试用申请。
155+   ;   ;   ;   ; 由于 DataSphereStudio 支持执行脚本风险较高 ,WeDataSphere Demo环境的隔离没有做完,考虑到大家都在咨询Demo环境,决定向社区先定向发放邀请码,接受企业和组织的试用申请。
133156
134157  ;   ;   ;   ; 如果您想试用Demo环境,请加入DataSphere Studio社区用户群(** 加群方式请翻到本文档末尾处** ),联系团队成员获取邀请码。
135158
136-   ;   ;   ;   ; WeDataSphere Demo环境用户注册页面:https://sandbox.webank.com /wds/dss/#/register
159+   ;   ;   ;   ; DataSphereStudio Demo环境用户注册页面:[ 点我进入 ] ( https://www.ozone.space /wds/dss/#/register )
137160
138-   ;   ;   ;   ; WeDataSphere Demo环境登录页面:https://sandbox.webank.com /wds/dss/
161+   ;   ;   ;   ; DataSphereStudio Demo环境登录页面:[ 点我进入 ] ( https://www.ozone.space /wds/dss/#/login )
139162
140-   ;   ;   ;   ; 我们会尽快解决环境隔离问题,争取早日向社区完全开放WeDataSphere Demo环境 。
163+   ;   ;   ;   ; ** DataSphereStudio1.0 Demo环境将在近期开放,敬请期待 ** 。
141164
142- ## 与类似系统对比
165+ ## 下载
143166
144-   ;   ;   ;   ; DSS是一个引领数据应用开发管理方向的开源项目,开源社区目前尚没有同类产品 。
167+   ;   ;   ;   ; 请前往 [ DSS releases ] ( https://github.com/WeBankFinTech/DataSphereStudio/releases ) 页面下载 DSS 的已编译版本或源码包 。
145168
146- ## 使用场景
169+ ## 编译和安装部署
147170
148- & nbsp ; & nbsp ; & nbsp ; & nbsp ; DataSphere Studio适用于以下场景:
171+ 请参照 [ 编译指引 ] ( https://github.com/WeBankFinTech/DataSphereStudio-Doc/blob/main/zh_CN/%E5%BC%80%E5%8F%91%E6%96%87%E6%A1%A3/DSS%E7%BC%96%E8%AF%91%E6%96%87%E6%A1%A3.md ) 来编译 DSS 源码。
149172
150- & nbsp ; & nbsp ; & nbsp ; & nbsp ; 1. 正在筹建或初步具备大数据平台能力,但无任何数据应用工具的场景 。
173+ 请参考 [ 安装部署文档 ] ( https://github.com/WeBankFinTech/DataSphereStudio-Doc/blob/main/zh_CN/%E5%AE%89%E8%A3%85%E9%83%A8%E7%BD%B2/DSS%E5%8D%95%E6%9C%BA%E9%83%A8%E7%BD%B2%E6%96%87%E6%A1%A3.md ) 来部署 DSS 。
151174
152- & nbsp ; & nbsp ; & nbsp ; & nbsp ; 2. 已具备大数据基础平台能力,且仅有少数数据应用工具的场景。
175+ ## 示例和使用指引
153176
154- & nbsp ; & nbsp ; & nbsp ; & nbsp ; 3. 已具备大数据基础平台能力,且拥有全部数据应用工具,但工具间尚未打通,用户使用隔离感强、学习成本高的场景 。
177+ 请到 [ 用户使用文档 ] ( https://github.com/WeBankFinTech/DataSphereStudio-Doc/blob/main/zh_CN/%E4%BD%BF%E7%94%A8%E6%96%87%E6%A1%A3/DSS%E7%94%A8%E6%88%B7%E6%89%8B%E5%86%8C.md ) ,了解如何快速使用DSS 。
155178
156- & nbsp ; & nbsp ; & nbsp ; & nbsp ; 4. 已具备大数据基础平台能力,且拥有全部数据应用工具,部分工具已实现对接,但尚未定义统一规范的场景。
179+ ## 文档
157180
158- ## 快速安装使用
181+ DSS1.0的完整文档列表,请参见 [ DSS-Doc ] ( https://github.com/WeBankFinTech/DataSphereStudio-Doc/tree/main/zh_CN )
159182
160- 点我进入 [ 快速安装使用 ] ( docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md )
183+ 以下为 DSS 相关 AppConn 插件的安装指南:
161184
162- ## 架构
185+ - [ DSS的Visualis AppConn插件安装指南 ] ( https://github.com/WeBankFinTech/DataSphereStudio-Doc/blob/main/zh_CN/%E5%AE%89%E8%A3%85%E9%83%A8%E7%BD%B2/VisualisAppConn%E6%8F%92%E4%BB%B6%E5%AE%89%E8%A3%85%E6%96%87%E6%A1%A3.md )
163186
164- ![ DSS架构 ] ( images/ zh_CN/readme/architecture.png )
187+ - [ DSS的Schedulis AppConn插件安装指南 ] ( https://github.com/WeBankFinTech/DataSphereStudio-Doc/blob/main/ zh_CN/%E5%AE%89%E8%A3%85%E9%83%A8%E7%BD%B2/SchedulisAppConn%E6%8F%92%E4%BB%B6%E5%AE%89%E8%A3%85%E6%96%87%E6%A1%A3.md )
165188
166- ## 文档列表
189+ - [ DSS的Qualitis AppConn插件安装指南 ] ( https://github.com/WeBankFinTech/DataSphereStudio-Doc/blob/main/zh_CN/%E5%AE%89%E8%A3%85%E9%83%A8%E7%BD%B2/QualitisAppConn%E6%8F%92%E4%BB%B6%E5%AE%89%E8%A3%85%E6%96%87%E6%A1%A3.md )
167190
168- #### 1. 安装编译文档
191+ - [ DSS的Exchangis AppConn插件安装指南 ] ( https://github.com/WeBankFinTech/DataSphereStudio-Doc/blob/main/zh_CN/%E5%AE%89%E8%A3%85%E9%83%A8%E7%BD%B2/ExchangisAppConn%E6%8F%92%E4%BB%B6%E5%AE%89%E8%A3%85%E6%96%87%E6%A1%A3.md )
169192
170- [ 快速安装使用文档] ( docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md )
171193
172- [ ** DSS安装常见问题列表 ** ] ( docs/zh_CN/ch1/DSS安装常见问题列表.md )
194+ ## 架构
173195
174- [ DSS编译文档 ] ( docs /zh_CN/ch1/DSS编译文档.md )
196+ ![ DSS架构 ] ( images /zh_CN/readme/architecture.png )
175197
176- #### 2. 使用文档
177198
178- [ 快速使用文档 ] ( docs/zh_CN/ch3/DataSphere_Studio_QuickStart.md )
199+ ## 使用场景
179200
180- [ 用户手册 ] ( docs/zh_CN/ch3/DSS_User_Manual.md )
201+ & nbsp ; & nbsp ; & nbsp ; & nbsp ; DataSphere Studio适用于以下场景:
181202
182- #### 3. AppJoint插件安装文档
203+ & nbsp ; & nbsp ; & nbsp ; & nbsp ; 1. 正在筹建或初步具备大数据平台能力,但无任何数据应用工具的场景。
183204
184- ** 以下为手动安装相关插件的指南,DSS一键安装【标准版】已自动安装了以下插件,可忽略。 **
205+ & nbsp ; & nbsp ; & nbsp ; & nbsp ; 2. 已具备大数据基础平台能力,且仅有少数数据应用工具的场景。
185206
186- [ DSS的Azkaban AppJoint插件安装指南 ] ( docs/zh_CN/ch4/如何接入调度系统Azkaban.md )
207+ & nbsp ; & nbsp ; & nbsp ; & nbsp ; 3. 已具备大数据基础平台能力,且拥有全部数据应用工具,但工具间尚未打通,用户使用隔离感强、学习成本高的场景。
187208
188- [ DSS的Qualitis AppJoint插件安装指南 ] ( https://github.com/WeBankFinTech/Qualitis/blob/master/docs/zh_CN/ch1/%E6%8E%A5%E5%85%A5%E5%B7%A5%E4%BD%9C%E6%B5%81%E6%8C%87%E5%8D%97.md )
209+ & nbsp ; & nbsp ; & nbsp ; & nbsp ; 4. 已具备大数据基础平台能力,且拥有全部数据应用工具,部分工具已实现对接,但尚未定义统一规范的场景。
189210
190- #### 4. 第三方系统如何接入文档
191211
192- [ DSS如何快速集成第三方系统 ] ( docs/zh_CN/ch4/第三方系统接入DSS指南.md )
212+ ## 贡献
193213
194- #### 5. 架构文档
214+ 我们非常欢迎和期待更多的贡献者参与共建 DSS, 不论是代码、文档,或是其他能够帮助到社区的贡献形式。
195215
196- [ DSS工程发布到调度系统的架构设计 ] ( docs/zh_CN/ch4/DSS工程发布调度系统架构设计.md )
216+ ## 联系我们
197217
198- 更多文档,敬请期待!
218+ 对 DSS 的任何问题和建议,敬请提交issue,以便跟踪处理和经验沉淀共享。
199219
200- ## 交流贡献
220+ 您也可以扫描下面的二维码,加入我们的微信/QQ群,以获得更快速的响应。
201221
202222![ 交流] ( images/zh_CN/readme/communication.png )
203223
224+ ## 谁在使用 DSS
225+
226+ 我们创建了 [ Who is using DSS] ( https://github.com/WeBankFinTech/DataSphereStudio/issues/1 ) issue 以便用户反馈和记录谁在使用 DSS,欢迎您注册登记.
227+
228+ DSS 自2019年开源发布以来,累计已有700多家试验企业和1000+沙盒试验用户,涉及金融、电信、制造、互联网等多个行业。
229+
204230## License
205231
206232DSS is under the Apache 2.0 license. See the [ License] ( LICENSE ) file for details.
0 commit comments