Skip to content

Commit 9c43ea2

Browse files
authored
Merge pull request #1 from WeBankFinTech/master
合并最新代码
2 parents a8515f0 + 20f3832 commit 9c43ea2

File tree

4 files changed

+161
-28
lines changed

4 files changed

+161
-28
lines changed

docs/zh_CN/ch1/DSS安装常见问题列表.md

Lines changed: 10 additions & 7 deletions
Original file line numberDiff line numberDiff line change
@@ -3,17 +3,20 @@
33
**本文档汇总DSS安装过程中所有问题列表及解决方式,为社区用户安装DSS提供参考。**
44

55

6-
#### (1) 创建工程提示用户token为空
6+
#### (1) 创建工程失败:add scheduler project用户token为空
77

88
```
9-
sudo vi dss-server/conf/token.properties
10-
```
11-
12-
添加用户
9+
{"method":null,"status":1,"message":"error code(错误码): 90002, error message(错误信息): add scheduler project failederrCode: 90019 ,desc: errCode: 90020 ,desc: 用户token为空 ,ip: dss.com ,port: 9004 ,serviceKind: dss-server ,ip: dss.com ,port: 9004 ,serviceKind: dss-server.","data":{"errorMsg":{"serviceKind":"dss-server","level":2,"port":9004,"errCode":90002,"ip":"dss.com","desc":"add scheduler project failederrCode: 90019 ,desc: errCode: 90020 ,desc: 用户token为空 ,ip: dss.com ,port: 9004 ,serviceKind: dss-server ,ip: dss.com ,port: 9004 ,serviceKind: dss-server"}}}
1310
1411
```
15-
xxx=xxx
16-
```
12+
13+
确保dss-server的token.properties中添加了此用户,并保持与 azkaban 的 azkaban-users.xml用户一致
14+
以hadoop用户为例:
15+
1、在dss-server的token.properties添加
16+
hadoop=hadoop
17+
2、在azkaban azkaban-users.xml 文件 添加
18+
<user groups="hadoop" password="hadoop" roles="admin" username="hadoop"/
19+
用户名密码务必保持一致
1720

1821
#### (2) visualis执行报错,找不到driver驱动
1922

docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md

Lines changed: 2 additions & 2 deletions
Original file line numberDiff line numberDiff line change
@@ -105,7 +105,7 @@
105105
- azkaban-solo-server-x.x.x.tar.gz
106106
- [wedatasphere-qualitis-x.x.x.zip](https://github.com/WeBankFinTech/Qualitis/releases)
107107

108-
2. 下载DSS&LINKIS[一键部署脚本](https://share.weiyun.com/5Qvl07X),并解压,再将上述所下载的安装包放置于该目录下,目录层级如下:
108+
2. 下载DSS&LINKIS[一键部署脚本](https://share.weiyun.com/58yxh3n),并解压,再将上述所下载的安装包放置于该目录下,目录层级如下:
109109

110110
```text
111111
├── dss_linkis # 一键部署主目录
@@ -263,7 +263,7 @@
263263
- azkaban-solo-server-x.x.x.tar.gz
264264
- [wedatasphere-qualitis-x.x.x.zip](https://github.com/WeBankFinTech/Qualitis/releases)
265265

266-
2. 下载DSS&LINKIS[一键部署脚本](https://share.weiyun.com/5Qvl07X),并解压,再将上述所下载的安装包放置于该目录下,目录层级如下:
266+
2. 下载DSS&LINKIS[一键部署脚本](https://share.weiyun.com/58yxh3n),并解压,再将上述所下载的安装包放置于该目录下,目录层级如下:
267267

268268
```text
269269
├── dss_linkis # 一键部署主目录

docs/zh_CN/ch3/DSS_User_Manual.md

Lines changed: 18 additions & 8 deletions
Original file line numberDiff line numberDiff line change
@@ -44,7 +44,17 @@ __注意:__ 如果要支持多用户登录,DSS的用户登录依赖Linkis,
4444
3. 工程复制:以工程的最新版本为源工程,复制出新工程,初始版本工作流内容为源工程最新版本的工作流。注意:**工程名是唯一,不可重复**
4545

4646
## 3工作流——workflow
47-
### 3.1 工作流编排
47+
### 3.1 工作流spark节点
48+
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;spark节点分别支持sql、pyspark、scala三种方式执行spark任务,使用时只需将节点拖拽至工作台后编写代码即可。
49+
### 3.2 工作流hive节点
50+
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;hive节点支持sql方式执行hive任务,使用时只需将节点拖拽至工作台后编写hivesql代码即可。
51+
### 3.3 工作流python节点
52+
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;python节点支持执行python任务,使用时只需将节点拖拽至工作台后编写python代码即可。
53+
### 3.4 工作流shell节点
54+
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;shell节点支持执行shell命令或者脚本运行,使用时只需将节点拖拽至工作台后编写shell命令即可。
55+
### 3.5 工作流jdbc节点
56+
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;jdbc节点支持以jdbc方式运行sql命令,使用时只需将节点拖拽至工作台后编写sql即可,**注意需要提前在linkis console管理台配置jdbc连接信息。**
57+
### 3.6 工作流编排
4858
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;当点击一个对应的工程后,既可以进入工程首页,在工程首页可以做工作流的编排。
4959
1. 首先需要创建工作流
5060
![workflow01](/images/zh_CN/chapter3/manual/workflow01.png)
@@ -53,7 +63,7 @@ __注意:__ 如果要支持多用户登录,DSS的用户登录依赖Linkis,
5363
3. 节点支持右键功能包括,删除、依赖选择、复制等基本功能,同时数据开发节点还支持脚本关联
5464
![workflow03](/images/zh_CN/chapter3/manual/workflow03.png)
5565

56-
### 3.2 工作流节点打开
66+
### 3.7 工作流节点打开
5767
节点支持双击打开:
5868
1. 数据开发节点:点开后即可进入Scriptis进行脚本编辑
5969
![workflow04](/images/zh_CN/chapter3/manual/workflow04.png)
@@ -64,14 +74,14 @@ __注意:__ 如果要支持多用户登录,DSS的用户登录依赖Linkis,
6474
4. 数据可视化节点:跳转到对应的可视化编辑页面
6575
![workflow07](/images/zh_CN/chapter3/manual/workflow07.png)
6676

67-
### 3.3 层级切换
77+
### 3.8 层级切换
6878
1. 支持多层级切换:支持快速工程切换、支持在工作流页面切换工作流、支持在单个工作流中切换节点
6979
![workflow08](/images/zh_CN/chapter3/manual/workflow08.png)
7080

7181
2. 右上脚支持多组件快速切换,在切换后进入的组件的内容都只与该工程相关,让用户更加清晰的去定义工程和业务的内容:
7282
![functions](/images/zh_CN/chapter3/manual/functions.png)
7383

74-
### 3.4 参数和资源设置
84+
### 3.9 参数和资源设置
7585

7686
1. 工作流上下文信息设置,支持工作流参数、变量、代理用户等
7787

@@ -86,26 +96,26 @@ open("flow://test.txt", encoding="utf-8") #工作流级资源文件使用flow:/
8696
open("node://test.txt", encoding="utf-8") #节点级资源文件使用node://开头
8797
```
8898

89-
### 3.5 工作流实时执行
99+
### 3.10 工作流实时执行
90100
1. 除了功能节点中的subflow会跳过执行,连接节点会作为空节点运行,其他都支持实时执行
91101
![workflow11](/images/zh_CN/chapter3/manual/workflow11.png)
92102
2. 用户编辑好工作流后点击执行就可以将工作流进行运行,您将看到实时的工作流运行起来可以看到现在运行节点的时间,同时可以右键节点打开节点的管理台去展示该节点的进度,运行结果,运行日志等。支持任务停止等功能
93103
![workflow12](/images/zh_CN/chapter3/manual/workflow12.png)
94104

95105

96-
### 3.6 工作流调度执行
106+
### 3.11 工作流调度执行
97107
1. DSS的工程支持发布调度,默认支持发布到Azkaban,同样DSS的调度部分做了深层次的抽象可以做到对其他的调度系统快速支持。发布前会对工作流进行解析,以确保工作流是可以调度运行的:
98108
![workflow13](/images/zh_CN/chapter3/manual/workflow13.png)
99109
2. 发布后即可到调度系统中进行查看,比如去Azkaban页面上进行查看:
100110
![workflow14](/images/zh_CN/chapter3/manual/workflow14.png)
101111
3. DSS如何对接调度系统可以参考:[]()
102112

103-
### 3.7 工作流版本
113+
### 3.12 工作流版本
104114
1. 工作流创建完成后,具有初始版本,版本号为v000001,直接点击工作流图标时,默认打开工作流的最新版本
105115
2. 可以查看工作流的版本,方便您进行历史版本查看:
106116
![workflow15](/images/zh_CN/chapter3/manual/workflow15.png)
107117

108-
### 3.8 工作流布局修改
118+
### 3.13 工作流布局修改
109119
1. 工作流格式化:当工作流节点过多,界面太乱时。可以点击节点编辑页的右上方第四个“格式化”按钮。快速美化节点界面:
110120
![workflow16](/images/zh_CN/chapter3/manual/workflow16.png)
111121
如果格式化后不满意,可再次点击节点编辑页的右上方第五个“恢复”按钮,恢复到之前的状态:

0 commit comments

Comments
 (0)