Skip to content

Commit db27d06

Browse files
authored
Merge branch 'master' into dev-1.4.0
2 parents 6c3be88 + 4e67f90 commit db27d06

File tree

241 files changed

+4809
-2636
lines changed

Some content is hidden

Large Commits have some content hidden by default. Use the searchbox below for content that may be hidden.

241 files changed

+4809
-2636
lines changed

.github/workflows/build.yml

Lines changed: 1 addition & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -51,6 +51,6 @@ jobs:
5151
- name: Build frontend by node.js
5252
run: |
5353
cd web
54-
npm install lerna -g
54+
npm install lerna@4.0.0 -g
5555
lerna bootstrap
5656
npm run build

.github/workflows/dlc.json

Lines changed: 11 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -1,4 +1,15 @@
11
{
2+
"ignorePatterns": [
3+
{
4+
"pattern": "https://github.com/WeBankFinTech/DataSphereStudio-Doc"
5+
},
6+
{
7+
"pattern": "http://localhost"
8+
},
9+
{
10+
"pattern": "http://127.0.0.1"
11+
}
12+
],
213
"timeout": "10s",
314
"retryOn429": true,
415
"retryCount": 10,

README-ZH.md

Lines changed: 35 additions & 33 deletions
Original file line numberDiff line numberDiff line change
@@ -39,19 +39,17 @@
3939

4040
       4、工作流调度工具——[Schedulis](https://github.com/WeBankFinTech/Schedulis)
4141

42-
       5、数据交换工具——[Exchangis](https://github.com/WeBankFinTech/Exchangis) (**即将发布的 Exchangis1.0,将与 DSS 工作流打通**)
42+
       5、数据交换工具——[Exchangis](https://github.com/WeBankFinTech/Exchangis)
4343

4444
       6、数据Api服务——[DataApiService](https://github.com/WeBankFinTech/DataSphereStudio-Doc/blob/main/zh_CN/%E4%BD%BF%E7%94%A8%E6%96%87%E6%A1%A3/DataApiService%E4%BD%BF%E7%94%A8%E6%96%87%E6%A1%A3.md)
4545

4646
       7、流式应用开发管理工具——[Streamis](https://github.com/WeBankFinTech/Streamis)
4747

48-
       8、一站式机器学习平台——[Prophecis](https://github.com/WeBankFinTech/Prophecis)(**即将发布集成版本**)
48+
       8、一站式机器学习平台——[Prophecis](https://github.com/WeBankFinTech/Prophecis)
4949

50-
       9、工作流任务调度平台——**DolphinScheduler**(**集成代码合并中**)
50+
       9、工作流任务调度平台——[DolphinScheduler](https://github.com/apache/dolphinscheduler)
5151

52-
       10、帮助文档模块——**UserGuide**(**集成代码合并中**)
53-
54-
       11、数据模型中心——**DataModelCenter**(**社区联合共建中,预计春节后**)
52+
       10、数据模型中心——**DataModelCenter**(**社区联合共建中**)
5553

5654
       **DSS 对以上组件的版本兼容性,请访问:[已集成组件的兼容性列表](README-ZH.md#四已集成的数据应用组件)**
5755

@@ -81,23 +79,24 @@
8179

8280
       **如果有需要,也可以轻松集成新的数据应用系统,以替换或丰富 DSS 的数据应用开发流程。** [点我了解如何快速集成新的应用系统](https://github.com/WeBankFinTech/DataSphereStudio-Doc/blob/main/zh_CN/%E5%BC%80%E5%8F%91%E6%96%87%E6%A1%A3/%E7%AC%AC%E4%B8%89%E6%96%B9%E7%B3%BB%E7%BB%9F%E6%8E%A5%E5%85%A5DSS%E5%BC%80%E5%8F%91%E6%8C%87%E5%8D%97.md)
8381

84-
| 应用工具 | 描述 | DSS0.X 版本要求 | DSS1.0 版本要求 | 版本状态 |
85-
| --------------- | -------------------------------------------------------------------- | --------- | ---------- | ------ |
86-
| [**DataApiService**](https://github.com/WeBankFinTech/DataSphereStudio-Doc/blob/main/zh_CN/%E4%BD%BF%E7%94%A8%E6%96%87%E6%A1%A3/DataApiService%E4%BD%BF%E7%94%A8%E6%96%87%E6%A1%A3.md) | 数据API服务。可快速将SQL脚本发布为一个 Restful 接口,对外提供 Rest 访问能力。 | 不支持 | >=1.0.0 | 已发布 |
87-
| [**Scriptis**](https://github.com/WeBankFinTech/Scriptis) | 支持在线写 SQL、Pyspark、HiveQL 等脚本,提交给[Linkis](https://github.com/WeBankFinTech/Linkis)执行的数据分析 Web 工具。 | >=0.5.0 | >=1.0.0 | 已发布 |
88-
| [**Schedulis**](https://github.com/WeBankFinTech/Schedulis) | 基于 Azkaban 二次开发的工作流任务调度系统,具备高性能,高可用和多租户资源隔离等金融级特性。 | >=0.5.0 | >=1.0.0 | 已发布 |
89-
| **EventCheck** | 提供跨业务、跨工程和跨工作流的信号通信能力。 | >=0.5.0 | >=1.0.0 | 已发布 |
90-
| **SendEmail** | 提供数据发送能力,所有其他工作流节点的结果集,都可以通过邮件进行发送 | >=0.5.0 | >=1.0.0 | 已发布 |
91-
| [**Qualitis**](https://github.com/WeBankFinTech/Qualitis) | 数据质量校验工具,提供数据完整性、正确性等数据校验能力 | >=0.5.0 | 1.0.1(**当前筹备版本**) | **预计年前发版** |
92-
| [**Streamis**](https://github.com/WeBankFinTech/Streamis) | 流式应用开发管理工具。支持发布 Flink Jar 和 Flink SQL ,提供流式应用的开发调试和生产管理能力,如:启停、状态监控、checkpoint 等。 | 不支持 | 1.0.1(**当前筹备版本**) | **预计年前发版** |
93-
| [**Exchangis**](https://github.com/WeBankFinTech/Exchangis) | 支持对结构化及无结构化的异构数据源之间的数据传输的数据交换平台,即将发布的 Exchangis1.0,将与 DSS 工作流打通 | 不支持 | 规划在1.0.2 | **开发实现中** |
94-
| [**Visualis**](https://github.com/WeBankFinTech/Visualis) | 基于宜信开源项目 Davinci 二次开发的数据可视化 BI 工具,为用户在数据安全方面提供金融级数据可视化能力。 | >=0.5.0 | 规划在1.0.2 | **开发实现中** |
95-
| [**Prophecis**](https://github.com/WeBankFinTech/Prophecis) | 一站式机器学习平台,集成多种开源机器学习框架。Prophecis 的 MLFlow 通过 AppConn 可以接入到 DSS 工作流中。 | 不支持 | 规划在1.0.2 | **开发实现中** |
96-
| **UserManager** | 自动初始化一个 DSS 新用户所必须的所有用户环境,包含:创建 Linux 用户、各种用户路径、目录授权等。 | >=0.9.1 | 规划在1.0.2 | **开发实现中** |
97-
| **DolphinScheduler** | Apache DolphinScheduler,分布式易扩展的可视化工作流任务调度平台,支持一键将DSS工作流发布到 DolphinScheduler。 | 不支持 | 规划在1.1.0 | **开发实现中** |
98-
| **UserGuide** | 包含帮助文档、新手指引、Dark模式换肤等。 | 不支持 | 规划在1.1.0 | **开发实现中** |
99-
| **DataModelCenter** | 主要提供数仓规划、数据模型开发和数据资产管理的能力。数仓规划包含主题域、数仓分层、修饰词等;数据模型开发包含指标、维度、度量、向导式建表等;数据资产打通 **Apache Atlas**,提供**数据血缘**能力。 | 不支持 | 规划在1.2.0 | **开发实现中** |
100-
| **Airflow** | 支持将 DSS 工作流发布到 Airflow 进行定时调度。 | >=0.9.1,尚未合并 | 不支持 | **尚无规划** |
82+
| 应用工具 | 描述 | DSS0.X 兼容版本(推荐 DSS0.9.1) | DSS1.0 兼容版本(推荐 DSS1.1.0) |
83+
| --------------- | -------------------------------------------------------------------- | --------- | ---------- |
84+
| [**Linkis**](https://github.com/apache/incubator-linkis) | 计算中间件 Apache Linkis,通过提供 REST/WebSocket/JDBC/SDK 等标准接口,上层应用可以方便地连接访问 MySQL/Spark/Hive/Presto/Flink 等底层引擎. | 推荐 Linkis0.11.0(**已发布**| >= Linkis1.1.1(**已发布**|
85+
| [**DataApiService**](https://github.com/WeBankFinTech/DataSphereStudio-Doc/blob/main/zh_CN/%E4%BD%BF%E7%94%A8%E6%96%87%E6%A1%A3/DataApiService%E4%BD%BF%E7%94%A8%E6%96%87%E6%A1%A3.md) | (DSS已内置的第三方应用工具)数据API服务。可快速将SQL脚本发布为一个 Restful 接口,对外提供 Rest 访问能力。 | 不支持 | 推荐 DSS1.1.0(**已发布**|
86+
| [**Scriptis**](https://github.com/WeBankFinTech/DataSphereStudio) | (DSS 已内置的第三方应用工具)支持在线写 SQL、Pyspark、HiveQL 等脚本,提交给 [Linkis](https://github.com/WeBankFinTech/Linkis) 执行的数据分析 Web 工具。 | 推荐 DSS0.9.1(**已发布**| 推荐 DSS1.1.0(**已发布**|
87+
| [**Schedulis**](https://github.com/WeBankFinTech/Schedulis) | 基于 Azkaban 二次开发的工作流任务调度系统,具备高性能,高可用和多租户资源隔离等金融级特性。 | 推荐 Schedulis0.6.1(**已发布**| >= Schedulis0.7.0(**已发布**|
88+
| **EventCheck** | (DSS 已内置的第三方应用工具)提供跨业务、跨工程和跨工作流的信号通信能力。 | 推荐 DSS0.9.1(**已发布**| 推荐 DSS1.1.0(**已发布**|
89+
| **SendEmail** | (DSS 已内置的第三方应用工具)提供数据发送能力,所有其他工作流节点的结果集,都可以通过邮件进行发送 | 推荐 DSS0.9.1(**已发布**| 推荐 DSS1.1.0(**已发布**|
90+
| [**Qualitis**](https://github.com/WeBankFinTech/Qualitis) | 数据质量校验工具,提供数据完整性、正确性等数据校验能力 | 推荐 Qualitis0.8.0(**已发布**| >= Qualitis0.9.2(**已发布**|
91+
| [**Streamis**](https://github.com/WeBankFinTech/Streamis) | 流式应用开发管理工具。支持发布 Flink Jar 和 Flink SQL ,提供流式应用的开发调试和生产管理能力,如:启停、状态监控、checkpoint 等。 | 不支持 | >= Streamis0.2.0(**已发布**|
92+
| [**Prophecis**](https://github.com/WeBankFinTech/Prophecis) | 一站式机器学习平台,集成多种开源机器学习框架。Prophecis 的 MLFlow 通过 AppConn 可以接入到 DSS 工作流中。 | 不支持 | >= Prophecis 0.3.2(**已发布**|
93+
| [**Exchangis**](https://github.com/WeBankFinTech/Exchangis) | 支持对结构化及无结构化的异构数据源之间的数据传输的数据交换平台,即将发布的 Exchangis1.0,将与 DSS 工作流打通 | 不支持 | = Exchangis1.0.0(**已发布**|
94+
| [**Visualis**](https://github.com/WeBankFinTech/Visualis) | 基于宜信开源项目 Davinci 二次开发的数据可视化 BI 工具,为用户在数据安全方面提供金融级数据可视化能力。 | 推荐 Visualis0.5.0 | = Visualis1.0.0(**已发布**|
95+
| [**DolphinScheduler**](https://github.com/apache/dolphinscheduler) | Apache DolphinScheduler,分布式易扩展的可视化工作流任务调度平台,支持一键将DSS工作流发布到 DolphinScheduler。 | 不支持 | DolphinScheduler1.3.X(**已发布**|
96+
| **UserGuide** | (DSS 将内置的第三方应用工具)包含帮助文档、新手指引、Dark模式换肤等。 | 不支持 | >= DSS1.1.0(**已发布**|
97+
| **DataModelCenter** | (DSS 将内置的第三方应用工具)主要提供数仓规划、数据模型开发和数据资产管理的能力。数仓规划包含主题域、数仓分层、修饰词等;数据模型开发包含指标、维度、度量、向导式建表等;数据资产打通 **Apache Atlas**,提供**数据血缘**能力。 | 不支持 | 规划在 DSS1.2.0(**开发中**|
98+
| **UserManager** | (DSS 已内置的第三方应用工具)自动初始化一个 DSS 新用户所必须的所有用户环境,包含:创建 Linux 用户、各种用户路径、目录授权等。 | 推荐 DSS0.9.1(**已发布**| 规划中 |
99+
| [**Airflow**](https://github.com/apache/airflow) | 支持将 DSS 工作流发布到 Apache Airflow 进行定时调度。 | PR 尚未合并 | 不支持 |
101100

102101

103102
## Demo试用环境
@@ -106,9 +105,7 @@
106105

107106
       如果您想试用 Demo 环境,请加入DataSphere Studio社区用户群(**加群方式请翻到本文档末尾处**),联系 **WeDataSphere 入群机器人** 获取邀请码。
108107

109-
       DataSphereStudio Demo 环境用户注册页面:[点我进入](https://dss-open.wedatasphere.com/#/register)
110-
111-
       DataSphereStudio Demo 环境登录页面:[点我进入](https://dss-open.wedatasphere.com/#/login)
108+
       DataSphereStudio Demo 环境登录页面:[点我进入](http://106.52.77.156:8085/)
112109

113110

114111
## 下载
@@ -119,7 +116,7 @@
119116

120117
       请参照 [编译指引](https://github.com/WeBankFinTech/DataSphereStudio-Doc/blob/main/zh_CN/%E5%BC%80%E5%8F%91%E6%96%87%E6%A1%A3/DSS%E7%BC%96%E8%AF%91%E6%96%87%E6%A1%A3.md) 来编译 DSS 源码。
121118

122-
       请参考 [安装部署文档](https://github.com/WeBankFinTech/DataSphereStudio-Doc/blob/main/zh_CN/%E5%AE%89%E8%A3%85%E9%83%A8%E7%BD%B2/DSS%E5%8D%95%E6%9C%BA%E9%83%A8%E7%BD%B2%E6%96%87%E6%A1%A3.md) 来部署 DSS。
119+
       请参考 [安装部署文档](https://github.com/WeBankFinTech/DataSphereStudio-Doc/blob/main/zh_CN/%E5%AE%89%E8%A3%85%E9%83%A8%E7%BD%B2/DSS%26Linkis%E4%B8%80%E9%94%AE%E9%83%A8%E7%BD%B2%E6%96%87%E6%A1%A3%E5%8D%95%E6%9C%BA%E7%89%88.md) 来部署 DSS。
123120

124121
## 示例和使用指引
125122

@@ -131,14 +128,19 @@
131128

132129
       以下为 DSS 相关 AppConn 插件的安装指南:
133130

134-
- [DSS的Visualis AppConn插件安装指南](https://github.com/WeBankFinTech/DataSphereStudio-Doc/blob/main/zh_CN/%E5%AE%89%E8%A3%85%E9%83%A8%E7%BD%B2/VisualisAppConn%E6%8F%92%E4%BB%B6%E5%AE%89%E8%A3%85%E6%96%87%E6%A1%A3.md)
131+
- [DSS 的 Visualis AppConn 插件安装指南](https://github.com/WeBankFinTech/Visualis/blob/master/visualis_docs/zh_CN/Visualis_appconn_install_cn.md)
132+
133+
- [DSS 的 Schedulis AppConn 插件安装指南](https://github.com/WeBankFinTech/DataSphereStudio-Doc/blob/main/zh_CN/%E5%AE%89%E8%A3%85%E9%83%A8%E7%BD%B2/SchedulisAppConn%E6%8F%92%E4%BB%B6%E5%AE%89%E8%A3%85%E6%96%87%E6%A1%A3.md)
134+
135+
- [DSS 的 Qualitis AppConn 插件安装指南](https://github.com/WeBankFinTech/Qualitis/blob/master/docs/zh_CN/ch1/%E6%8E%A5%E5%85%A5%E5%B7%A5%E4%BD%9C%E6%B5%81%E6%8C%87%E5%8D%97.md)
135136

136-
- [DSS的Schedulis AppConn插件安装指南](https://github.com/WeBankFinTech/DataSphereStudio-Doc/blob/main/zh_CN/%E5%AE%89%E8%A3%85%E9%83%A8%E7%BD%B2/SchedulisAppConn%E6%8F%92%E4%BB%B6%E5%AE%89%E8%A3%85%E6%96%87%E6%A1%A3.md)
137+
- [DSS 的 Exchangis AppConn 插件安装指南](https://github.com/WeDataSphere/Exchangis/blob/master/docs/zh_CN/ch1/exchangis_appconn_deploy_cn.md)
137138

138-
- [DSS的Qualitis AppConn插件安装指南](https://github.com/WeBankFinTech/DataSphereStudio-Doc/blob/main/zh_CN/%E5%AE%89%E8%A3%85%E9%83%A8%E7%BD%B2/QualitisAppConn%E6%8F%92%E4%BB%B6%E5%AE%89%E8%A3%85%E6%96%87%E6%A1%A3.md)
139+
- [DSS 的 Streamis AppConn 插件安装指南](https://github.com/WeBankFinTech/Streamis/blob/main/docs/zh_CN/%E5%AE%89%E8%A3%85%E6%96%87%E6%A1%A3/AppConn%E7%9A%84%E4%BD%BF%E7%94%A8.md)
139140

140-
- [DSS的Exchangis AppConn插件安装指南](https://github.com/WeBankFinTech/DataSphereStudio-Doc/blob/main/zh_CN/%E5%AE%89%E8%A3%85%E9%83%A8%E7%BD%B2/ExchangisAppConn%E6%8F%92%E4%BB%B6%E5%AE%89%E8%A3%85%E6%96%87%E6%A1%A3.md)
141+
- [DSS 的 Prophecis AppConn 插件安装指南](https://github.com/WeBankFinTech/Prophecis/blob/master/docs/zh_CN/Deployment_Documents/Prophecis%20Appconn%E5%AE%89%E8%A3%85%E6%96%87%E6%A1%A3.md)
141142

143+
- [DSS 的 Dolphinscheduler AppConn 插件安装指南](https://github.com/WeBankFinTech/DataSphereStudio-Doc/blob/main/zh_CN/%E5%AE%89%E8%A3%85%E9%83%A8%E7%BD%B2/DolphinScheduler%E6%8F%92%E4%BB%B6%E5%AE%89%E8%A3%85%E6%96%87%E6%A1%A3.md)
142144

143145
## 架构
144146

@@ -166,7 +168,7 @@
166168

167169
       对 DSS 的任何问题和建议,敬请提交 issue,以便跟踪处理和经验沉淀共享。
168170

169-
       您也可以扫描下面的二维码,加入我们的 微信/QQ群,以获得更快速的响应。
171+
       您也可以扫描下面的二维码,加入我们的 微信群,以获得更快速的响应。
170172

171173
![交流](images/zh_CN/readme/communication.png)
172174

@@ -178,4 +180,4 @@
178180

179181
## License
180182

181-
       DSS is under the Apache 2.0 license. See the [License](LICENSE) file for details.
183+
       DSS is under the Apache 2.0 license. See the [License](https://github.com/WeBankFinTech/DataSphereStudio/blob/master/LICENSE) file for details.

0 commit comments

Comments
 (0)