Skip to content

Commit 99356a3

Browse files
author
v_xiangbiaowu
committed
Streamis安装文档
1 parent 7f75261 commit 99356a3

File tree

4 files changed

+107
-53
lines changed

4 files changed

+107
-53
lines changed

‎docs/images/zh_CN/dss_streamis_project.png‎

312 KB
Loading

‎docs/images/zh_CN/eureka_streamis.png‎

-118 KB
Loading

‎docs/zh_CN/0.1.0/Streamis安装文档.md‎

Lines changed: 37 additions & 53 deletions
Original file line numberDiff line numberDiff line change
@@ -1,9 +1,8 @@
11
# Streamis安装部署文档
22

33
## 1.组件介绍
4-
----------
54

6-
Streamis0.1.0 提供了 Streamis-JobManager 流式生产中心，其作用主要有：
5+
Streamis0.2.0 提供了 Streamis-JobManager 流式生产中心，其作用主要有：
76

87
1. 上传/更新流式应用
98
2. 配置流式应用参数，如 Flink 的 Slot 数量、checkpoint相关参数等
@@ -12,27 +11,27 @@ Streamis0.1.0 提供了 Streamis-JobManager 流式生产中心，其作用主要
1211

1312

1413
## 2.代码编译
15-
----------
16-
14+
1715
**Streamis 无需手动编译，可以直接下载安装包进行部署，请 [点我下载安装包](https://github.com/WeBankFinTech/Streamis/releases)。**
1816

1917
如果您想自己编译 Streamis，可参考如下步骤进行。
2018

2119
后台编译方式如下：
2220

23-
```
21+
```shell script
2422
cd ${STREAMIS_CODE_HOME}
2523
mvn -N install
2624
mvn clean install
2725
```
26+
编译成功后将会在项目的 assembly/target 目录下生成安装包
2827

2928
前端编译方式如下：
3029

31-
```bash
30+
```shell script
3231
cd ${STREAMIS_CODE_HOME}/web
33-
npm i
3432
npm run build
3533
```
34+
编译成功后，在${STREAMIS_CODE_HOME}/web目录下生成streamis-${streamis-version}-dist.zip
3635

3736
## 3.安装准备
3837

@@ -46,40 +45,48 @@ npm run build
4645
### 3.2 Linkis 和 DSS 环境
4746

4847
- Linkis (>=1.0.3)，Streamis 的执行依赖于 Linkis 的 Flink 引擎，并且依赖 **Linkis-1.0.3** 及以上版本。
49-
- DataSphere Studio (>=1.0.1)，Streamis 流式作业的开发和调试，依赖于 DSS-Scriptis，Streamis 流式生产中心则需嵌入到 DSS 工程框架体系之中，所以依赖于 **DSS-1.0.1** 及以上版本。
48+
- DataSphere Studio (>=1.1.0)，Streamis 流式作业的开发和调试，依赖于 DSS-Scriptis，Streamis 流式生产中心则需嵌入到 DSS 工程框架体系之中，所以依赖于 **DSS-1.1.0** 及以上版本。
5049

51-
在正式安装 Streamis 之前，请先安装 Linkis1.0.3 和 DSS1.0.1 及以上版本，并且保证 Linkis Flink 引擎 和 DSS 可以正常使用，DSS 和 Linkis 安装，可参照 [DSS & Linkis 一键安装部署文档](https://github.com/WeBankFinTech/DataSphereStudio-Doc/blob/main/zh_CN/%E5%AE%89%E8%A3%85%E9%83%A8%E7%BD%B2/DSS%E5%8D%95%E6%9C%BA%E9%83%A8%E7%BD%B2%E6%96%87%E6%A1%A3.md)。
50+
在正式安装 Streamis 之前，请先安装 Linkis1.0.3 和 DSS1.1.0 及以上版本，并且保证 Linkis Flink 引擎 和 DSS 可以正常使用，DSS 和 Linkis 安装，可参照 [DSS & Linkis 一键安装部署文档](https://github.com/WeBankFinTech/DataSphereStudio-Doc/blob/main/zh_CN/%E5%AE%89%E8%A3%85%E9%83%A8%E7%BD%B2/DSS%E5%8D%95%E6%9C%BA%E9%83%A8%E7%BD%B2%E6%96%87%E6%A1%A3.md)。
5251

5352
如何验证 DSS 和 Linkis 已基本可用？您可以在 DSS-Scriptis 上新建一个 flinksql 脚本并执行，如果 flinksql 能正确执行并返回结果集，表示 DSS 和 linkis 环境是可用的。
5453

55-
### 3.3 安装包准备
5654

57-
将安装包上传到 Linux 服务器（目前只支持 Linux 环境部署）的安装目录，如 /appcom/Install/streamis：
55+
# 4.安装和启动
5856

59-
```bash
57+
## 后台安装
58+
**安装条件：需安装在和eureka一起的机器**
59+
60+
1.安装包准备
61+
62+
将安装包上传到 Linux 服务器（目前只支持 Linux 环境部署）的安装目录，如 /appcom/Install/streamis，然后进行解压：
63+
64+
```shell script
6065
cd /appcom/Install/streamis
6166
tar -xvf wedatasphere-streamis-${streamis-version}-dist.tar.gz
6267
```
6368

64-
### 3.4 修改数据库配置
69+
2.修改数据库配置
6570

66-
```bash
71+
```shell script
6772
vi conf/db.sh
6873
#配置基础的数据库信息
6974

7075
```
7176

72-
### 3.5 修改基础配置文件
77+
3.修改基础配置文件
7378

74-
```bash
79+
```shell script
7580
vi conf/config.sh
7681
```
7782

78-
```bash
79-
83+
```shell script
8084
### deploy user
8185
deployUser=hadoop
8286

87+
### ssh port
88+
SSH_PORT=22
89+
8390
##The Port of Streamis
8491
STREAMIS_PORT=9400
8592

@@ -96,12 +103,9 @@ GATEWAY_PORT=9001
96103

97104
```
98105

99-
## 4.安装和启动
100-
----------
106+
4.执行安装脚本
101107

102-
- 后台安装
103-
104-
```bash
108+
```shell script
105109
sh bin/install.sh
106110
```
107111

@@ -112,10 +116,10 @@ sh bin/install.sh
112116
     **第一次安装**必须选是。
113117

114118

115-
- 启动
119+
5.启动
116120

117-
```bash
118-
sh bin/start-streamis.sh
121+
```shell script
122+
sh bin/start.sh
119123
```
120124

121125
- 启动验证
@@ -125,7 +129,7 @@ sh bin/start-streamis.sh
125129
![components](../../images/zh_CN/eureka_streamis.png)
126130

127131

128-
- 前端部署
132+
## 前端部署
129133

130134
1.安装nginx
131135

@@ -139,7 +143,7 @@ sudo yum install -y nginx
139143
mkdir ${STREAMIS_FRONT_PATH}
140144
cd ${STREAMIS_FRONT_PATH}
141145
#放置前端包
142-
unzip streamis-web.zip
146+
unzip streamis-${streamis-version}.zip
143147
```
144148

145149
3.修改nginx配置文件<br>
@@ -155,8 +159,8 @@ server {
155159
listen 9088;# 访问端口
156160
server_name localhost;
157161
location / {
158-
root ${STREAMIS_FRONT_PAH}; # 请修改成Streamis恰当南的静态文件目录
159-
index index.html index.html;
162+
root ${STREAMIS_FRONT_PATH}/dist; # 请修改成Streamis前端的静态文件目录
163+
index index.html index.html;
160164
}
161165
location /api {
162166
proxy_pass http://${Linkis_GATEWAY_IP}:${LINKIS_GATEWY_PORT}; #后端Linkis的地址,请修改成Linkis网关的ip和端口
@@ -183,32 +187,12 @@ server {
183187
}
184188
```
185189

186-
4.重启nginx
190+
5.加载nginx配置
187191

188192
```bash
189-
sudo systemctl restart nginx
193+
sudo nginx -s reload
190194
```
191195

192196
## 5. 接入DSS
193197

194-
请在 **DSS 数据库**之中，执行以下SQL：
195-
196-
请注意：是在 **DSS 数据库**之中，执行以下SQL！！！
197-
198-
请注意：是在 **DSS 数据库**之中，执行以下SQL！！！
199-
200-
特别需要注意的是：需将以下SQL url 字段的值 ：`http://127.0.0.1:9188/#/realtimeJobCenter?projectName=${projectName}&workspaceName=${workspaceName}` 中的 IP 和 端口，替换为 Streamis 的 IP 和 端口
201-
202-
请注意：以下SQL，只需替换 IP 和 端口 即可，其他无需改动。
203-
204-
```roomsql
205-
INSERT INTO `dss_dictionary` ( `workspace_id`, `parent_key`, `dic_name`, `dic_name_en`, `dic_key`, `dic_value`, `dic_value_en`, `title`, `title_en`, `url`, `url_type`,`icon`, `order_num`, `remark`, `create_user`, `create_time`, `update_user`, `update_time`)
206-
VALUES ('0','p_develop_process','流式生产中心','Streamis Product Center','pdp_streamis_product_center','streamis_prod',NULL,NULL,NULL,
207-
'http://127.0.0.1:9188/#/realtimeJobCenter?projectName=${projectName}&workspaceName=${workspaceName}','0','kaifa-icon','1','工程开发流程-流式生产中心','SYSTEM','2020-12-28 17:32:35',NULL,'2021-02-22 17:49:02');
208-
```
209-
210-
如何验证 DSS 已经成功集成了 Streamis？
211-
212-
请进入 DSS 的工程首页，如果能正常切换到 流式生产中心，则表示 DSS 已经成功集成了 Streamis。如下图：
213-
214-
![DSS 集成 Streamis](../../images/zh_CN/DSS_integration_Streamis.png)
198+
如您想正常使用 Streamis0.2.0 前端，还需安装 DSS StreamisAppConn 插件，请参考: [StreamisAppConn 插件安装文档](development/StreamisAppConn安装文档.md)

‎docs/zh_CN/0.1.0/development/StreamisAppConn安装文档.md‎

Lines changed: 70 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,70 @@
1+
StreamisAppConn安装文档 本文主要介绍在DSS(DataSphere Studio)1.1.0中StreamisAppConn的部署、配置以及安装
2+
3+
# 1.部署StreamisAppConn的准备工作
4+
您在部署StreamisAppConn之前，请安装完成Streamis0.2.0及其他相关组件的安装，并确保工程基本功能可用。
5+
6+
# 2.StreamisAppConn插件的下载和编译
7+
1）下载二进制包
8+
我们提供StreamisAppconn的物料包，您可直接下载使用。[点击跳转 Release 界面](https://github.com/WeBankFinTech/Streamis/releases)
9+
10+
2） 编译打包
11+
如果您想自己开发和编译StreamisAppConn，具体编译步骤如下： 1.clone Streamis的代码 2.找到streamis-appconn模块，单独编译streamis-appconn
12+
```shell script
13+
cd {STREAMIS_CODE_HOME}/streamis-appconn
14+
mvn clean install
15+
```
16+
会在该路径下找到streamis.zip安装包
17+
```shell script
18+
{STREAMIS_CODE_HOME}\streamis-appconn\target\streamis.zip
19+
```
20+
21+
# 3.StreamisAppConn插件的部署和配置总体步骤
22+
1.拿到打包出来的streamis.zip物料包
23+
24+
2.放置到如下目录并进行解压
25+
26+
注意：第一次解压streamis appconn后，确保当前文件夹下没有index_v0000XX.index文件，该文件在后面才会生成
27+
```shell script
28+
cd {DSS_Install_HOME}/dss/dss-appconns
29+
unzip streamis.zip
30+
```
31+
解压出来的目录结构为：
32+
```shell script
33+
conf
34+
db
35+
lib
36+
```
37+
3.执行脚本进行自动化安装
38+
```shell script
39+
cd {DSS_INSTALL_HOME}/dss/bin
40+
sh ./appconn-install.sh
41+
# 脚本是交互式的安装方案，您需要输入字符串streamis以及streamis服务的ip和端口，即可以完成安装
42+
# 这里的streamis端口是指前端端口，在nginx进行配置。而不是后端的服务端口
43+
```
44+
45+
## 4.完成streamis-appconn的安装后，需要重启dss服务，才能最终完成插件的更新
46+
### 4.1）使部署好的APPCONN生效
47+
使用DSS启停脚本使APPCONN生效，进入到脚本所在目录{DSS_INSTALL_HOME}/dss/sbin中，依次使用如下命令执行脚本：
48+
```shell script
49+
sh ./dss-stop-all.sh
50+
sh ./dss-start-all.sh
51+
```
52+
### 4.2）验证streamis-appconn是否生效
53+
在安装部署完成streamis-appconn之后，可通过以下步骤初步验证streamis-appconn是否安装成功。
54+
55+
在DSS工作空间创建一个新的项目
56+
![DSS工作空间Streamis项目](../../../images/zh_CN/dss_streamis_project.png)
57+
58+
在streamis数据库查看是否同步创建项目，查询有记录说明appconn安装成功
59+
```roomsql
60+
SELECT * FROM linkis_stream_project WHERE name = '项目名称';
61+
```
62+
63+
# 5.Streamis AppConn安装原理
64+
Streamis 的相关配置信息会插入到以下表中，通过配置下表，可以完成 Streamis 的使用配置。(注：如果仅仅需要快速安装APPCONN，无需过分关注以下字段，提供的init.sql中大多以进行默认配置。重点关注以上操作即可)
65+
66+
|表名 |表作用 |备注 |
67+
|-------------------|-----------------------------------------|------|
68+
|dss_appconn |AppConn的基本信息，用于加载AppConn |必须|
69+
|dss_appconn_instance |AppConn的实例的信息，包括自身的url信息 |必须|
70+
|dss_workspace_menu_appconn |AppConn菜单 |必须|

0 commit comments

Comments
 (0)