Skip to content

Commit 9f8f58d

Browse files
author
v_xiangbiaowu
committed
Optimize Streamis installation documentation
1 parent 99356a3 commit 9f8f58d

File tree

19 files changed

+63
-59
lines changed

19 files changed

+63
-59
lines changed

‎README-ZH.md‎

Lines changed: 4 additions & 4 deletions
Original file line numberDiff line numberDiff line change
@@ -45,7 +45,7 @@ Dimension节点、Transform节点、Sink节点 和 [Visualis](https://github.com
4545

4646
![流式应用配置](docs/images/流式应用配置.png)
4747

48-
       更多功能，请参考：[Streamis 用户手册](docs/zh_CN/0.1.0/使用文档/Streamis用户手册.md)。
48+
       更多功能，请参考：[Streamis 用户手册](docs/zh_CN/0.2.0/使用文档/Streamis用户手册.md)。
4949

5050
----
5151

@@ -72,20 +72,20 @@ Dimension节点、Transform节点、Sink节点 和 [Visualis](https://github.com
7272

7373
## 编译和安装部署
7474

75-
       请参照 [编译指引](docs/zh_CN/0.1.0/development/Streamis编译文档.md) ，用于编译 Streamis。
75+
       请参照 [编译指引](docs/zh_CN/0.2.0/development/Streamis编译文档.md) ，用于编译 Streamis。
7676

7777
       在安装Streamis之前，请先安装 Linkis1.0.3 和 DSS1.0.1，可参照：[DSS + Linkis 安装部署文档](https://github.com/WeBankFinTech/DataSphereStudio-Doc/blob/main/zh_CN/%E5%AE%89%E8%A3%85%E9%83%A8%E7%BD%B2/DSS%E5%8D%95%E6%9C%BA%E9%83%A8%E7%BD%B2%E6%96%87%E6%A1%A3.md)
7878

7979
       同时，请确保 Linkis Flink 引擎已可正常使用，可参照：[Linkis Flink 引擎插件安装文档](https://github.com/WeBankFinTech/Linkis-Doc/blob/master/zh_CN/Deployment_Documents/EngineConnPlugin%E5%BC%95%E6%93%8E%E6%8F%92%E4%BB%B6%E5%AE%89%E8%A3%85%E6%96%87%E6%A1%A3.md)
8080

81-
       最后，请参考 [Streamis 安装部署文档](docs/zh_CN/0.1.0/Streamis安装文档.md) ，用于安装部署 Streamis。
81+
       最后，请参考 [Streamis 安装部署文档](docs/zh_CN/0.2.0/Streamis安装文档.md) ，用于安装部署 Streamis。
8282

8383

8484
----
8585

8686
## 示例和使用指引
8787

88-
       请到 [用户使用文档](docs/zh_CN/0.1.0/使用文档/Streamis用户手册.md) ，了解如何快速使用 Streamis。
88+
       请到 [用户使用文档](docs/zh_CN/0.2.0/使用文档/Streamis用户手册.md) ，了解如何快速使用 Streamis。
8989

9090
----
9191

docs/zh_CN/0.1.0/AppConn的使用.md renamed to docs/zh_CN/0.2.0/AppConn的使用.md

File renamed without changes.

docs/zh_CN/0.1.0/Streamis安装文档.md renamed to docs/zh_CN/0.2.0/Streamis安装文档.md

Lines changed: 15 additions & 10 deletions
Original file line numberDiff line numberDiff line change
@@ -16,19 +16,22 @@ Streamis0.2.0 提供了 Streamis-JobManager 流式生产中心，其作用主要
1616

1717
如果您想自己编译 Streamis，可参考如下步骤进行。
1818

19-
后台编译方式如下：
19+
- 后台编译方式如下：
2020

2121
```shell script
2222
cd ${STREAMIS_CODE_HOME}
2323
mvn -N install
2424
mvn clean install
2525
```
26-
编译成功后将会在项目的 assembly/target 目录下生成安装包
26+
编译成功后将会在项目的 assembly/target 目录下生成安装包wedatasphere-streamis-${streamis-version}-dist.tar.gz
2727

28-
前端编译方式如下：
28+
- 前端编译方式如下：
29+
30+
前置依赖：nodejs、python 2.0
2931

3032
```shell script
3133
cd ${STREAMIS_CODE_HOME}/web
34+
npm i
3235
npm run build
3336
```
3437
编译成功后，在${STREAMIS_CODE_HOME}/web目录下生成streamis-${streamis-version}-dist.zip
@@ -44,18 +47,17 @@ npm run build
4447

4548
### 3.2 Linkis 和 DSS 环境
4649

47-
- Linkis (>=1.0.3)，Streamis 的执行依赖于 Linkis 的 Flink 引擎，并且依赖 **Linkis-1.0.3** 及以上版本。
50+
- Linkis (>=1.1.1)，Streamis 的执行依赖于 Linkis 的 Flink 引擎，并且依赖 **Linkis-1.1.1** 及以上版本。
4851
- DataSphere Studio (>=1.1.0)，Streamis 流式作业的开发和调试，依赖于 DSS-Scriptis，Streamis 流式生产中心则需嵌入到 DSS 工程框架体系之中，所以依赖于 **DSS-1.1.0** 及以上版本。
4952

50-
在正式安装 Streamis 之前，请先安装 Linkis1.0.3 和 DSS1.1.0 及以上版本，并且保证 Linkis Flink 引擎 和 DSS 可以正常使用，DSS 和 Linkis 安装，可参照 [DSS & Linkis 一键安装部署文档](https://github.com/WeBankFinTech/DataSphereStudio-Doc/blob/main/zh_CN/%E5%AE%89%E8%A3%85%E9%83%A8%E7%BD%B2/DSS%E5%8D%95%E6%9C%BA%E9%83%A8%E7%BD%B2%E6%96%87%E6%A1%A3.md)。
53+
在正式安装 Streamis 之前，请先安装 Linkis1.1.1 和 DSS1.1.0 及以上版本，并且保证 Linkis Flink 引擎 和 DSS 可以正常使用，DSS 和 Linkis 安装，可参照 [DSS & Linkis 一键安装部署文档](https://github.com/WeBankFinTech/DataSphereStudio-Doc/blob/main/zh_CN/%E5%AE%89%E8%A3%85%E9%83%A8%E7%BD%B2/DSS%E5%8D%95%E6%9C%BA%E9%83%A8%E7%BD%B2%E6%96%87%E6%A1%A3.md)。
5154

5255
如何验证 DSS 和 Linkis 已基本可用？您可以在 DSS-Scriptis 上新建一个 flinksql 脚本并执行，如果 flinksql 能正确执行并返回结果集，表示 DSS 和 linkis 环境是可用的。
5356

5457

55-
# 4.安装和启动
58+
## 4.安装和启动
5659

57-
## 后台安装
58-
**安装条件：需安装在和eureka一起的机器**
60+
### 后台安装
5961

6062
1.安装包准备
6163

@@ -129,7 +131,7 @@ sh bin/start.sh
129131
![components](../../images/zh_CN/eureka_streamis.png)
130132

131133

132-
## 前端部署
134+
### 前端部署
133135

134136
1.安装nginx
135137

@@ -195,4 +197,7 @@ sudo nginx -s reload
195197

196198
## 5. 接入DSS
197199

198-
如您想正常使用 Streamis0.2.0 前端，还需安装 DSS StreamisAppConn 插件，请参考: [StreamisAppConn 插件安装文档](development/StreamisAppConn安装文档.md)
200+
如您想正常使用 Streamis0.2.0 前端，还需安装 DSS StreamisAppConn 插件，请参考: [StreamisAppConn 插件安装文档](development/StreamisAppConn安装文档.md)
201+
202+
## 6.Linkis Flink引擎编译安装
203+
如您想正常执行 Streamis0.2.0，还需安装 Linkis Flink 引擎，请参考: [Linkis Flink 引擎安装文档](development/Flink引擎编译文档.md)

docs/zh_CN/0.1.0/architecture/README.md renamed to docs/zh_CN/0.2.0/architecture/README.md

File renamed without changes.

docs/zh_CN/0.1.0/architecture/SUMMARY.md renamed to docs/zh_CN/0.2.0/architecture/SUMMARY.md

File renamed without changes.

docs/zh_CN/0.1.0/architecture/Streamis接入AppConn设计文档.md renamed to docs/zh_CN/0.2.0/architecture/Streamis接入AppConn设计文档.md

Lines changed: 1 addition & 45 deletions
Original file line numberDiff line numberDiff line change
@@ -6,17 +6,15 @@
66
## DSS项目appconn插件streamis-appconn
77

88
### 配置表
9-
配置下面3张表dss_appconn、dss_workspace_menu_appconn、dss_appconn_instance，appconn_name为realTimeJobCenter是界面访问的appconn，appconn_name为streamis是接口访问的appconn，dss启动时会根据表中配置信息实例化StreamisAppConn对象。下面sql中APPCONN_INSTALL_IP和APPCONN_INSTALL_PORT在执行DSS安装脚本进行自动化安装时会通过交互式命令的方式输入。
9+
配置下面2张表dss_appconn、dss_appconn_instance，appconn_name为realTimeJobCenter是界面访问的appconn，appconn_name为streamis是接口访问的appconn，dss启动时会根据表中配置信息实例化StreamisAppConn对象。下面sql中APPCONN_INSTALL_IP和APPCONN_INSTALL_PORT在执行DSS安装脚本进行自动化安装时会通过交互式命令的方式输入。
1010
```roomsql
1111
select @old_dss_appconn_id:=id from `dss_appconn` where `appconn_name` = 'streamis';
1212
13-
delete from `dss_workspace_menu_appconn` WHERE `appconn_id` = @old_dss_appconn_id;
1413
delete from `dss_appconn_instance` where `appconn_id` = @old_dss_appconn_id;
1514
delete from `dss_appconn` where `appconn_name`='streamis';
1615
1716
select @old_jobcenter_dss_appconn_id:=id from `dss_appconn` where `appconn_name` = 'realTimeJobCenter';
1817
19-
delete from `dss_workspace_menu_appconn` WHERE `appconn_id` = @old_jobcenter_dss_appconn_id;
2018
delete from `dss_appconn_instance` where `appconn_id` = @old_jobcenter_dss_appconn_id;
2119
delete from `dss_appconn` where `appconn_name`='realTimeJobCenter';
2220
@@ -30,11 +28,6 @@ VALUES('realTimeJobCenter', 0, 1, 1, 1, 'sso', '', NULL, NULL);
3028
select @dss_appconn_id:=id from `dss_appconn` where `appconn_name` = 'streamis';
3129
select @jobcenter_dss_appconn_id:=id from `dss_appconn` where `appconn_name` = 'realTimeJobCenter';
3230
33-
INSERT INTO dss_workspace_menu_appconn
34-
(appconn_id, menu_id, title_en, title_cn, desc_en, desc_cn, labels_en, labels_cn, is_active, access_button_en, access_button_cn, manual_button_en, manual_button_cn, manual_button_url, icon, `order`, create_by, create_time, last_update_time, last_update_user, image)
35-
VALUES(@jobcenter_dss_appconn_id, 1, 'StreamSQL development', 'StreamSQL开发', 'Real-time application development is a streaming solution jointly built by WeDataSphere, Boss big data team and China Telecom ctcloud Big data team.', '实时应用开发是微众银行微数域(WeDataSphere)、Boss直聘大数据团队 和 中国电信天翼云大数据团队 社区联合共建的流式解决方案，以 Linkis 做为内核，基于 Flink Engine 构建的批流统一的 Flink SQL，助力实时化转型。',
36-
'streaming, realtime', '流式,实时', 0, 'under union construction', '联合共建中', 'related information', '相关资讯', 'http://127.0.0.1:8088/wiki/scriptis/manual/workspace_cn.html', 'shujukaifa-logo', NULL, NULL, NULL, NULL, NULL, 'shujukaifa-icon');
37-
3831
INSERT INTO dss_appconn_instance
3932
(appconn_id, label, url, enhance_json, homepage_uri)
4033
VALUES(@dss_appconn_id, 'DEV', 'http://APPCONN_INSTALL_IP:APPCONN_INSTALL_PORT/', '', 'http://APPCONN_INSTALL_IP:APPCONN_INSTALL_PORT/#/realTimeJobCenter');
@@ -170,40 +163,3 @@ ALTER TABLE `linkis_stream_project` ADD is_deleted tinyint unsigned DEFAULT 0;
170163
- 创建操作，会将请求参数中项目信息（projectName、workspaceId）插入项目表linkis_stream_project并自增生成id，将请求参数中权限信息数据（releaseUsers、editUsers、accessUsers）中user和项目表生成id关联，插入表linkis_stream_project_privilege，创建操作成功返回status值为0，会将项目表生成id作为projectId的值返回；
171164
- 修改操作，会根据请求参数projectId将请求信息数据更新到表linkis_stream_project和 linkis_stream_project_privilege，成功直接返回status值为0；
172165
- 删除操作，会根据projectId将表linkis_stream_project的is_deleted字段标记为1，linkis_stream_project_privilege中相关数据删除，成功直接返回status值为0。
173-
174-
# 鉴权
175-
176-
## 鉴权流程图
177-
![Streamis项目鉴权操作](../../../images/zh_CN/streamis_project_privilege.png)
178-
179-
### edit权限接口：
180-
181-
|RequestMethod |接口路径 |名称 |
182-
|------|----------------------------------------------------------|-----------------|
183-
|POST |/streamis/streamProjectManager/project/files/upload |工程资源文件-导入 |
184-
|GET |/streamis/streamProjectManager/project/files/delete |删除项目下该文件所有版本 |
185-
|GET |/streamis/streamProjectManager/project/files/version/delete |删除版本文件 |
186-
|GET |/streamis/streamProjectManager/project/files/download |任务详情-下载 |
187-
|POST |/streamis/streamJobManager/job/upload |上传文件 |
188-
|POST |/streamis/streamJobManager/job/execute |启动 |
189-
|GET |/streamis/streamJobManager/job/stop |停止 |
190-
|PUT |/streamis/streamJobManager/job//snapshot/{jobId:\w+} |快照生成 |
191-
|GET |/streamis/streamJobManager/config/json/{jobId:\w+} |配置-保存 |
192-
|POST |/streamis/streamJobManager/job/bulk/execution |批量启动 |
193-
|POST |/streamis/streamJobManager/job/bulk/pause |批量停止 |
194-
195-
196-
### access权限接口：
197-
198-
|RequestMethod |接口路径 |名称 |
199-
|------|----------------------------------------------------------|-------------|
200-
|GET |streamis/streamJobManager/job/list |查询当前用户可查看job |
201-
|GET |/streamis/streamProjectManager/project/files/list |工程资源文件 |
202-
|GET |/streamis/streamProjectManager/project/files/version/list |获取工程下该文件所有版本 |
203-
|GET |/streamis/streamJobManager/job/version |查询job版本 |
204-
|GET |/streamis/streamJobManager/job/execute/history |job执行历史 |
205-
|GET |/streamis/streamJobManager/job/progress |获取job当前版本最新task状态 |
206-
|GET |/streamis/streamJobManager/job/jobContent |任务详情 |
207-
|GET |/streamis/streamJobManager/job/logs |获取日志 |
208-
|POST |/streamis/streamJobManager/config/json/{jobId:\w+} |获得任务配置 |
209-
|GET |/streamis/streamJobManager/config/view |查询当前job配置信息 |

‎docs/zh_CN/0.2.0/architecture/Streamis鉴权设计文档.md‎

Lines changed: 43 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,43 @@
1+
# 鉴权
2+
3+
## 鉴权流程图
4+
streamis存在需要鉴权的模块没有依赖streamis-project-server模块的情况，使用rest接口调用来处理鉴权。
5+
![Streamis项目鉴权操作](../../../images/zh_CN/streamis_project_privilege.png)
6+
7+
## 具体实现说明
8+
根据当前用户名和项目ID/名称获取到所有权限的集合，如果权限集合中包含RELEASE权限，则拥有发布/编辑/查看的权限，如果权限集合中包含EDIT权限，则拥有编辑/查看的权限，如果权限集合中包含ACCESS权限，则拥有查看的权限；
9+
权限包含关系：RELEASE权限包含EDIT权限、ACCESS权限；EDIT权限包含ACCESS权限。
10+
11+
## 接口
12+
### edit权限接口：
13+
14+
|RequestMethod |接口路径 |名称 |
15+
|------|----------------------------------------------------------|-----------------|
16+
|POST |/streamis/streamProjectManager/project/files/upload |工程资源文件-导入 |
17+
|GET |/streamis/streamProjectManager/project/files/delete |删除项目下该文件所有版本 |
18+
|GET |/streamis/streamProjectManager/project/files/version/delete |删除版本文件 |
19+
|GET |/streamis/streamProjectManager/project/files/download |任务详情-下载 |
20+
|POST |streamis/streamJobManager/job/createOrUpdate |创建或更新streamis-job|
21+
|POST |/streamis/streamJobManager/job/upload |上传文件 |
22+
|POST |/streamis/streamJobManager/job/execute |启动 |
23+
|GET |/streamis/streamJobManager/job/stop |停止 |
24+
|PUT |/streamis/streamJobManager/job//snapshot/{jobId:\w+} |快照生成 |
25+
|GET |/streamis/streamJobManager/config/json/{jobId:\w+} |配置-保存 |
26+
|POST |/streamis/streamJobManager/job/bulk/execution |批量启动 |
27+
|POST |/streamis/streamJobManager/job/bulk/pause |批量停止 |
28+
29+
30+
### access权限接口：
31+
32+
|RequestMethod |接口路径 |名称 |
33+
|------|----------------------------------------------------------|-------------|
34+
|GET |streamis/streamJobManager/job/list |查询当前用户可查看job |
35+
|GET |/streamis/streamProjectManager/project/files/list |工程资源文件 |
36+
|GET |/streamis/streamProjectManager/project/files/version/list |获取工程下该文件所有版本 |
37+
|GET |/streamis/streamJobManager/job/version |查询job版本 |
38+
|GET |/streamis/streamJobManager/job/execute/history |job执行历史 |
39+
|GET |/streamis/streamJobManager/job/progress |获取job当前版本最新task状态 |
40+
|GET |/streamis/streamJobManager/job/jobContent |任务详情 |
41+
|GET |/streamis/streamJobManager/job/logs |获取日志 |
42+
|POST |/streamis/streamJobManager/config/json/{jobId:\w+} |获得任务配置 |
43+
|GET |/streamis/streamJobManager/config/view |查询当前job配置信息 |

docs/zh_CN/0.1.0/development/Flink引擎编译文档.md renamed to docs/zh_CN/0.2.0/development/Flink引擎编译文档.md

File renamed without changes.

docs/zh_CN/0.1.0/development/Interface_documentation/README.md renamed to docs/zh_CN/0.2.0/development/Interface_documentation/README.md

File renamed without changes.

docs/zh_CN/0.1.0/development/Requirements_documentation/README.md renamed to docs/zh_CN/0.2.0/development/Requirements_documentation/README.md

File renamed without changes.

0 commit comments

Comments
 (0)