@@ -30,60 +30,62 @@ Linkix需要的命令工具(在正式安装前,脚本会自动检测这些
3030
3131下面的服务必须可从本机访问:
3232
33- - Hadoop(** 2.7.2,Hadoop其他版本需自行编译Linkis ** ) ,安装的机器必须支持执行 ``` hdfs dfs -ls / ``` 命令
33+ - Hadoop(** 2.7.2,Hadoop 其他版本需自行编译 Linkis ** ) ,安装的机器必须支持执行 ``` hdfs dfs -ls / ``` 命令
3434
35- - Hive(** 2.3.3,Hive其他版本需自行编译Linkis ** ),安装的机器必须支持执行``` hive -e "show databases" ``` 命令
35+ - Hive(** 2.3.3,Hive 其他版本需自行编译 Linkis ** ),安装的机器必须支持执行``` hive -e "show databases" ``` 命令
3636
3737- Spark(** 支持2.0以上所有版本** ) ,安装的机器必须支持执行``` spark-sql -e "show databases" ``` 命令
3838
3939
4040Tips:
4141
42- 如您是第一次安装Hadoop,单机部署Hadoop可参考 :[ Hadoop单机部署] ( https://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-common/SingleCluster.html ) ;分布式部署Hadoop可参考:[ Hadoop分布式部署] ( https://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-common/ClusterSetup.html ) 。
42+ 如您是第一次安装 Hadoop,单机部署 Hadoop 可参考 :[ Hadoop单机部署] ( https://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-common/SingleCluster.html ) ;分布式部署Hadoop可参考:[ Hadoop分布式部署] ( https://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-common/ClusterSetup.html ) 。
4343
44- 如您是第一次安装Hive ,可参考:[ Hive快速安装部署] ( https://cwiki.apache.org/confluence/display/Hive/GettingStarted ) 。
44+ 如您是第一次安装 Hive ,可参考:[ Hive快速安装部署] ( https://cwiki.apache.org/confluence/display/Hive/GettingStarted ) 。
4545
46- 如您是第一次安装Spark ,On Yarn模式可参考 :[ Spark on Yarn部署] ( http://spark.apache.org/docs/2.4.3/running-on-yarn.html ) 。
46+ 如您是第一次安装 Spark ,On Yarn 模式可参考 :[ Spark on Yarn部署] ( http://spark.apache.org/docs/2.4.3/running-on-yarn.html ) 。
4747
4848### b. 创建用户
4949
50-   ;  ;  ;  ;  ;  ;  ;  ; 例如: ** 部署用户是hadoop账号 ** (可以不是hadoop用户 ,但是推荐使用Hadoop的超级用户进行部署,这里只是一个示例)
50+   ;  ;  ;  ;  ;  ;  ;  ; 例如: ** 部署用户是 hadoop 账号 ** (可以不是 hadoop 用户 ,但是推荐使用Hadoop的超级用户进行部署,这里只是一个示例)
5151
52522 . 在所有需要部署的机器上创建部署用户,用于安装
5353
54- ``` bash
55- sudo useradd hadoop
54+ ``` shell script
55+ sudo useradd hadoop
5656```
5757
58- 3 . 因为Linkis的服务是以 sudo -u ${linux-user} 方式来切换引擎,从而执行作业,所以部署用户需要有 sudo 权限,而且是免密的。
58+ 3 . 因为 Linkis 的服务是以 ` sudo -u ${linux-user} ` 方式来切换引擎,从而执行作业,所以部署用户需要有 sudo 权限,而且是免密的。
5959
60- ``` bash
61- vi /etc/sudoers
60+ ``` shell script
61+ vi /etc/sudoers
6262```
6363
6464``` properties
6565 hadoop ALL =(ALL) NOPASSWD: NOPASSWD: ALL
6666```
6767
68- 4 . 确保部署 DSS 和 Linkis 的服务器可正常执行 hdfs 、 hive -e 和 spark-sql -e 等命令。在一键安装脚本中,会对组件进行检查。
68+ 4 . 确保部署 DSS 和 Linkis 的服务器可正常执行 ` hdfs dfs -ls ` 、 ` hive -e ` 和 ` spark-sql -e ` 等命令。在一键安装脚本中,会对组件进行检查。
6969
70- 5 . ** 如果您的Pyspark想拥有画图功能 ,则还需在所有安装节点,安装画图模块** 。命令如下:
70+ 5 . ** 如果您的 Pyspark 想拥有画图功能 ,则还需在所有安装节点,安装画图模块** 。命令如下:
7171
72- ``` bash
72+ ``` shell script
7373python -m pip install matplotlib
7474```
7575
7676### c.安装准备
7777
78- 自行编译或者去组件release页面下载安装包:
78+ 自行编译或者去 release 页面下载安装包: [ wedatasphere-dss-x.x.x-dist.tar.gz ] ( https://github.com/WeBankFinTech/DataSphereStudio/releases )
7979
80- 2 . 下载安装包
80+ ** 请注意:为了能正常使用 Visualis1.0.0-RC1 和 Exchangis1.0.0-RC1,请去 releases 页面下载最新的一键安装部署包。 **
8181
82- - [ wedatasphere-linkis-x.x.x-dist.tar.gz] ( https://github.com/WeBankFinTech/Linkis/releases )
83- - [ wedatasphere-dss-x.x.x-dist.tar.gz] ( https://github.com/WeBankFinTech/DataSphereStudio/releases )
84- - [ wedatasphere-dss-web-x.x.x-dist.zip] ( https://github.com/WeBankFinTech/DataSphereStudio/releases )
82+ ** 请注意:为了能正常使用 Visualis1.0.0-RC1 和 Exchangis1.0.0-RC1,请去 releases 页面下载最新的一键安装部署包。**
8583
86- 3 . 下载 DSS & LINKIS 一键安装部署包,并解压。以下是一键安装部署包的层级目录结构:
84+ ** 如果您选择自行编译 Linkis,请确保编译的是 Linkis1.1.1。**
85+
86+ ** 如果您选择自行编译 DSS,请确保已 pull 了 DSS ` master ` 分支的最新代码。**
87+
88+ DSS & LINKIS 一键安装部署包的层级目录结构如下:
8789
8890``` text
8991├── dss_linkis # 一键部署主目录
@@ -94,15 +96,14 @@ python -m pip install matplotlib
9496 ├── wedatasphere-linkis-x.x.x-dist.tar.gz # Linkis安装包
9597```
9698
97- 4.停止机器上所有DSS及Linkis服务。若从未安装过DSS及Linkis服务,忽略此步骤。
98-
99+ 如果您选择自行编译 Linkis 或 DSS,直接将上面的 Linkis 安装包或 DSS 安装包替换成编译后相关安装包即可。
99100
100101### d. 修改配置
101102
102-   ;  ;  ;  ;  ;  ;  ;  ; 打开conf /config.sh,按需修改相关配置参数:
103+   ;  ;  ;  ;  ;  ;  ;  ; 打开 ` conf /config.sh` ,按需修改相关配置参数:
103104
104- ``` bash
105- vi conf/config.sh
105+ ``` shell script
106+ vi conf/config.sh
106107```
107108
108109参数说明如下:
@@ -114,14 +115,14 @@ vi conf/config.sh
114115# deployUser=hadoop
115116
116117# 非必须不建议修改
117- # LINKIS_VERSION=1.0.2
118+ LINKIS_VERSION =1.1.1
118119
119120# ## DSS Web,本机安装一般无需修改,但需确认此端口是否占用,若被占用,修改一个可用端口即可。
120121# DSS_NGINX_IP=127.0.0.1
121122# DSS_WEB_PORT=8088
122123
123124# 非必须不建议修改
124- # DSS_VERSION=1.0.0
125+ DSS_VERSION =1.0.1
125126
126127# # Java应用的堆栈大小。如果部署机器的内存少于8G,推荐128M;达到16G时,推荐至少256M;如果想拥有非常良好的用户使用体验,推荐部署机器的内存至少达到32G。
127128export SERVER_HEAP_SIZE =" 128M"
@@ -250,8 +251,8 @@ EMAIL_PROTOCOL=smtp
250251
251252请确保配置的数据库,安装机器可以正常访问,否则将会出现DDL和DML导入失败的错误。
252253
253- ``` bash
254- vi conf/db.sh
254+ ``` shell script
255+ vi conf/db.sh
255256```
256257
257258``` properties
@@ -274,8 +275,8 @@ HIVE_PASSWORD=xxx
274275
275276### 1. 执行安装脚本:
276277
277- ``` bash
278- sh bin/install.sh
278+ ``` shell script
279+ sh bin/install.sh
279280```
280281
281282### 2. 安装步骤
@@ -297,6 +298,8 @@ sh bin/install.sh
297298
298299### 4. 启动服务
299300
301+ 如果您本机已有 DSS 和 Linkis 的服务正在运行中,请先停掉所有相关服务。
302+
300303#### (1) 启动服务:
301304
302305  ;  ;  ;  ;  ; 在安装目录执行以下命令,启动所有服务:
@@ -322,6 +325,6 @@ sh bin/start-all.sh
322325
323326  ;  ;  ;  ;  ; 在安装目录执行以下命令,停止所有服务:
324327
325- ``` bash
326- sh bin/stop-all.sh
328+ ``` shell script
329+ sh bin/stop-all.sh
327330```
0 commit comments