Merge pull request #35 from zqburde/1.1.0

Optimize DSS&Linkis一键部署文档单机版

Author: zqburde

README-ZH.md

@@ -54,7 +54,7 @@ DataSphereStudio
 
        由于 DataSphereStudio 支持执行脚本风险较高，WeDataSphere Demo 环境的隔离没有做完，考虑到大家都在咨询 Demo 环境，决定向社区先定向发放邀请码，接受企业和组织的试用申请。
 
-       如果您想试用 Demo 环境，请加入 DataSphere Studio 社区用户群（**加群方式请翻到本文档末尾处**），联系团队成员获取邀请码。
+       如果您想试用 Demo 环境，请加入 DataSphere Studio 社区用户群 [加群方式可跳转](#1)，联系团队成员获取邀请码。
 
        DataSphereStudio Demo 环境用户注册页面：[点我进入](https://dss-open.wedatasphere.com/#/register)
 
@@ -67,13 +67,13 @@ DataSphereStudio
 
        以下为 DSS 相关 AppConn 插件的安装指南：
 
-- [DSS 的 Visualis AppConn 插件安装指南](zh_CN/安装部署/VisualisAppConn插件安装文档.md)
+- [DSS 的 Visualis AppConn 插件安装指南](https://github.com/WeBankFinTech/Visualis/blob/master/visualis_docs/zh_CN/Visualis_appconn_install_cn.md)
 
 - [DSS 的 Schedulis AppConn 插件安装指南](zh_CN/安装部署/SchedulisAppConn插件安装文档.md)
 
-- [DSS 的 Qualitis AppConn 插件安装指南](zh_CN/安装部署/QualitisAppConn插件安装文档.md)
+- [DSS 的 Qualitis AppConn 插件安装指南](https://github.com/WeBankFinTech/Qualitis/blob/master/docs/zh_CN/ch1/%E6%8E%A5%E5%85%A5%E5%B7%A5%E4%BD%9C%E6%B5%81%E6%8C%87%E5%8D%97.md)
 
-- [DSS 的 Exchangis AppConn 插件安装指南](zh_CN/安装部署/ExchangisAppConn插件安装文档.md)
+- [DSS 的 Exchangis AppConn 插件安装指南](https://github.com/WeDataSphere/Exchangis/blob/master/docs/zh_CN/ch1/exchangis_appconn_deploy_cn.md)
 
 
 ## 谁在使用 DataSphere Studio
@@ -95,7 +95,7 @@ DataSphereStudio
        我们非常欢迎和期待更多的贡献者参与共建 DSS, 不论是代码、文档，或是其他能够帮助到社区的贡献形式。
 
 
-## 联系我们
+## <a id = "1">联系我们</a>
 
 &nbsp; &nbsp; &nbsp; &nbsp;对 DSS 的任何问题和建议，敬请提交issue，以便跟踪处理和经验沉淀共享。
 

zh_CN/Images/安装部署/DSS&Linkis一键部署文档单机版/eureka.png

@@ -8,10 +8,10 @@ DataSphere Studio（简称 DSS）是微众银行自研的数据应用开发管
 
 * [安装部署](安装部署)
     * [DSS 单机部署文档](安装部署/DSS&Linkis一键部署文档单机版.md)
-    * [ExchangisAppConn 插件安装文档](安装部署/ExchangisAppConn插件安装文档.md)
-    * [QualitisAppConn 插件安装文档](安装部署/QualitisAppConn插件安装文档.md)
+    * [ExchangisAppConn 插件安装文档](https://github.com/WeDataSphere/Exchangis/blob/master/docs/zh_CN/ch1/exchangis_appconn_deploy_cn.md)
+    * [QualitisAppConn 插件安装文档](安https://github.com/WeBankFinTech/Qualitis/blob/master/docs/zh_CN/ch1/%E6%8E%A5%E5%85%A5%E5%B7%A5%E4%BD%9C%E6%B5%81%E6%8C%87%E5%8D%97.md)
     * [SchedulisAppConn 插件安装文档](安装部署/SchedulisAppConn插件安装文档.md)
-    * [VisualisAppConn 插件安装文档](安装部署/VisualisAppConn插件安装文档.md)
+    * [VisualisAppConn 插件安装文档](https://github.com/WeBankFinTech/Visualis/blob/master/visualis_docs/zh_CN/Visualis_appconn_install_cn.md)
 * [使用文档](使用文档)
     * [DSS用户手册](使用文档/DSS用户手册.md)
     * [DataApiService 使用文档](使用文档/DataApiService使用文档.md)

zh_CN/Images/安装部署/DSS单机部署文档/eureka.png

@@ -28,7 +28,7 @@
 
   如用户是第一次安装Hive，可参考：[Hive快速安装部署](https://cwiki.apache.org/confluence/display/Hive/GettingStarted)
 
-  如用户是第一次安装Spark，On Yarn模式可参考：[Spark on Yarn部署](
+  如用户是第一次安装Spark，On Yarn模式可参考：[Spark on Yarn部署](https://spark.apache.org/docs/2.4.3/running-on-yarn.html)
 
 ### 二、创建用户
 
@@ -37,15 +37,15 @@
 
 2. 在所有需要部署的机器上创建部署用户，用于安装 ，如下命令创建部署用户hadoop
 
-   ```
+   ```shell
    sudo useradd hadoop
    ```
 
 3. 因为Linkis的服务是以 `sudo -u ${linux-user}` 方式来切换引擎，从而执行作业，所以部署用户需要有 sudo 权限，而且是免密的，按下面步骤修改部署用户权限
 
    编辑/etc/sudoers文件：
 
-   ```
+   ```shell
    vi /etc/sudoers
    ```
 
@@ -60,39 +60,39 @@
 
 5. **如果用户的Pyspark想拥有画图功能，则还需在所有安装节点，安装画图模块**。命令如下：
 
-   ```
+   ```shell
    python -m pip install matplotlib
    ```
 
 ### 三、准备安装包
 
-- 用户可以自行编译或者去 release 页面下载安装包：  [DSS Release-1.1.0](https://github.com/WeBankFinTech/DataSphereStudio/releases/tag/1.1.0)
+- 用户可以自行编译或者去 release 页面下载安装包：[DSS Release-1.1.0](https://github.com/WeBankFinTech/DataSphereStudio/releases/tag/1.1.0)
 
-  **请注意：为了能正常使用 Visualis1.0.0-RC1 和 Exchangis1.0.0-RC1，请去 releases 页面下载最新的一键安装部署包。**
+  **请注意：为了能正常使用 Visualis1.0.0 和 Exchangis1.0.0，请去 releases 页面下载最新的一键安装部署包。**
 
-  **请注意：为了能正常使用 Visualis1.0.0-RC1 和 Exchangis1.0.0-RC1，请去 releases 页面下载最新的一键安装部署包。**
+  **请注意：为了能正常使用 Visualis1.0.0 和 Exchangis1.0.0，请去 releases 页面下载最新的一键安装部署包。**
 
 
 
-- DSS & LINKIS 一键安装部署包的层级目录结构如下：
+- DSS & Linkis 一键安装部署包的层级目录结构如下：
 
-```text
-├── dss_linkis # 一键部署主目录
-  ├── bin # 用于一键安装，以及一键启动 DSS + Linkis
-  ├── conf # 一键部署的参数配置目录
-  ├── wedatasphere-dss-x.x.x-dist.tar.gz # DSS后端安装包
-  ├── wedatasphere-dss-web-x.x.x-dist.zip # DSS前端和Linkis前端安装包
-  ├── wedatasphere-linkis-x.x.x-dist.tar.gz # Linkis后端安装包
-```
+    ```text
+    ├── dss_linkis # 一键部署主目录
+      ├── bin # 用于一键安装，以及一键启动 DSS + Linkis
+      ├── conf # 一键部署的参数配置目录
+      ├── wedatasphere-dss-x.x.x-dist.tar.gz # DSS后端安装包
+      ├── wedatasphere-dss-web-x.x.x-dist.zip # DSS前端和Linkis前端安装包
+      ├── wedatasphere-linkis-x.x.x-dist.tar.gz # Linkis后端安装包
+    ```
 
-- 如果用户选择采用下载安装包直接部署的形式，可直接跳转到[修改配置](#1)
+- 如果用户选择采用下载安装包直接部署的形式，可直接跳转到 [修改配置](#1)
 
 
 - 如果用户选择自行编译 Linkis 或 DSS，请确保编译的是 Linkis1.1.1 和已拉取了 DSS `master` 分支的最新代码，编译方式可以参考:  
   [DSS后端编译文档](../开发文档/DSS编译文档.md)  
   [DSS前端编译文档](../开发文档/前端编译文档.md)  
   [Linkis后端编译文档](https://linkis.apache.org/zh-CN/docs/latest/development/linkis_compile_and_package)  
-  [Linkis前端编译文档](https://linkis.apache.org/zh-CN/docs/latest/development/web_build)is_compile_and_package)
+  [Linkis前端编译文档](https://linkis.apache.org/zh-CN/docs/latest/development/web_build)
 
 
         1. 针对后端安装包可直接将上面的 Linkis 后端安装包或 DSS 后端安装包替换成编译后相关安装包即可。
@@ -277,15 +277,10 @@ [email protected]
 EMAIL_PASSWORD=xxxxx
 EMAIL_PROTOCOL=smtp
 
-### Save the file path exported by the orchestrator service
-ORCHESTRATOR_FILE_PATH=/appcom/tmp/dss
-### Save DSS flow execution service log path
-EXECUTION_LOG_PATH=/appcom/tmp/dss
-
 ############## other default configuration 其他默认配置信息 ############## 
 ```
 
-请注意：DSS 推荐使用 LDAP 进行用户登录鉴权，如您想接入公司的 LDAP，还需在上面的 `config.sh` 中填写 LDAP 的配置参数。 [如何安装 LDAP？](https://web.mit.edu/rhel-doc/5/RHEL-5-manual/Deployment_Guide-en-US/s1-ldap-quickstart.html)
+- 请注意：DSS 推荐使用 LDAP 进行用户登录鉴权，如您想接入公司的 LDAP，还需在上面的 `config.sh` 中填写 LDAP 的配置参数。 [如何安装 LDAP？](https://web.mit.edu/rhel-doc/5/RHEL-5-manual/Deployment_Guide-en-US/s1-ldap-quickstart.html)
 
 - 修改数据库配置。请确保配置的数据库，安装机器可以正常访问，否则将会出现 DDL 和 DML 导入失败的错误，打开 `db.sh`，按需修改相关配置参数，参数说明如下：
 
@@ -312,11 +307,13 @@ HIVE_PASSWORD=xxx
 - 若从未安装过DSS及Linkis服务，忽略此步骤
 
 2. #### 将当前目录切换到bin目录
-
-   `cd xx/dss_linkis/bin`
+    ```shell
+    cd xx/dss_linkis/bin
+    ```
 3. #### 执行安装脚本
-
-   `sh install.sh`
+    ```shell
+    sh install.sh
+    ```
 - 该安装脚本会检查各项集成环境命令，如果没有请按照提示进行安装，以下命令为必须项：
 
   *yum; java; mysql; unzip; expect; telnet; tar; sed; dos2unix; nginx*
@@ -327,13 +324,39 @@ HIVE_PASSWORD=xxx
 - *除非用户想重新安装整个应用，否则该命令执行一次即可*
 
 4. #### 启动服务
+- 若用户的Linkis安装包是通过自己编译获取且用户想启用数据源管理功能，那么就需要去修改配置以启动该项功能，使用下载的安装包无需操作
+    ```shell
+    ## 切换到Linkis配置文件目录
+    cd xx/dss_linkis/linkis/conf
+    
+    ## 打开配置文件linkis-env.sh
+    vi linkis-env.sh
+    
+    ## 将如下配置改为true
+    export ENABLE_METADATA_MANAGER=true
+    ```
+- 若用户的Linkis安装包是通过自己编译获取，在启动服务前尽量将后续用到的密码改成和部署用户名一致，使用下载的安装包无需操作
+    ```shell
+    ## 切换到Linkis配置文件目录
+    cd xx/dss_linkis/linkis/conf/
+
+    ## 打开配置文件linkis-mg-gateway.properties
+    vi linkis-mg-gateway.properties
+
+    ## 修改密码
+    wds.linkis.admin.password=hadoop
+    ```
+- 在xx/dss_linkis/bin目录下执行启动服务脚本
+
+    ```shell
+    sh start-all.sh
+    ```
 
-   `sh start-all.sh`
 - 如果启动产生了错误信息，可以查看具体报错原因。启动后，各项微服务都会进行**通信检测**，如果有异常则可以帮助用户定位异常日志和原因
 
 5. #### 安装默认Appconn
 
-   ```
+   ```shell
    # 切换目录到dss，正常情况下dss目录就在xx/dss_linkis目录下，
    cd xx/dss_linkis/dss/bin
    
@@ -345,27 +368,30 @@ HIVE_PASSWORD=xxx
 
 6. #### 查看验证是否成功
 
-- 用户可以在Eureka界面查看 Linkis & DSS 后台各微服务的启动情况，默认情况下DSS有7个微服务，Linkis有8个微服务（**Eureka地址在xx/dss_linkis/conf/config.sh有配置）**
- 
-    ![](../Images/安装部署/DSS单机部署文档/eureka.png)
+- 用户可以在Eureka界面查看 Linkis & DSS 后台各微服务的启动情况，默认情况下DSS有7个微服务，Linkis有10个微服务(包括启用数据源管理功能后的两个微服务) **（Eureka地址在xx/dss_linkis/conf/config.sh有配置）**
 
-- 用户可以使用**谷歌浏览器**访问以下前端地址：`http://DSS_NGINX_IP:DSS_WEB_PORT` **启动日志会打印此访问地址（在xx/dss_linkis/conf/config.sh中也配置了此地址）**。登陆时管理员的用户名为部署用户为hadoop，密码因DSS版本不同而不同（密码：dss<1.0.1版本和部署用户一致；dss>=1.0.1 版本，密码是在执行部署时随机生成一个密码串，存储于xx/dss_linkis/linkis/conf/linkis-mg-gateway.properties)
+  ![](../Images/安装部署/DSS&Linkis一键部署文档单机版/eureka.png)
+
+- 用户可以使用**谷歌浏览器**访问以下前端地址：`http://DSS_NGINX_IP:DSS_WEB_PORT` **启动日志会打印此访问地址（在xx/dss_linkis/conf/config.sh中也配置了此地址）**。登陆时默认管理员的用户名和密码均为部署用户为hadoop（用户若想修改密码，可以通过修改 xx/dss_linkis/linkis/conf/linkis-mg-gateway.properties 文件中的 wds.linkis.admin.password 参数)
 
 7. #### 停止服务
-   `sh stop-all.sh`
+    ```shell
+    sh stop-all.sh
+    ```
 - 若用户需要停止所有服务可执行该命令`sh stop-all.sh`，重新启动所有服务就执行`sh start-all.sh`，这两条命令均在xx/dss_linkis/bin目录下执行
 
 ### 六、补充说明
-- 考虑到安装包过于大的问题，Linkis默认仅提供Hive, Python, Shell, Spark引擎插件，用户若想使用其他引擎，可参考文档: [Linkis引擎使用](https://linkis.apache.org/zh-CN/docs/latest/engine_usage/overview)
+- 考虑到安装包过于大的问题，Linkis默认仅提供Hive, Python, Shell, Spark引擎插件，用户若想使用其他引擎，可参考文档: [Linkis引擎的安装](https://linkis.apache.org/zh-CN/docs/latest/deployment/engine_conn_plugin_installation/)
+- DSS默认未安装调度系统，用户可以选择安装 Schedulis 或者 DolphinScheduler，具体安装方式见下面表格
 - DSS默认仅安装DateChecker, EventSender, EventReceiver AppConn，用户可参考文档安装其他AppConn，如[Visualis](), [Exchangis](https://github.com/WeBankFinTech/Exchangis/blob/dev-1.0.0/docs/zh_CN/ch1/exchangis_appconn_deploy_cn.md), [Qualitis](), [Prophecis](), [Streamis]()
-- 若用户的Linkis安装包是通过自己编译获取且用户想启用数据源管理功能，那么就需要去修改配置以启动该项功能，使用下载的安装包无需操作
-```
-## 切换到Linkis配置文件目录
-cd xx/dss_linkis/linkis/conf
-
-## 打开配置文件linkis-env.sh
-vi linkis-env.sh
-
-## 将如下配置改为true
-export ENABLE_METADATA_MANAGER=true
-```
+  调度系统就是Schedulis和DolphinScheduler
+
+  | 组件名      | 组件版本要求   | 组件部署链接                                   | AppConn部署链接 |
+      |-----------------|----------------|----------------------------------------|-------------------|
+  | Schedulis | Schedulis0.7.0 | [Schedulis部署](https://github.com/WeBankFinTech/Schedulis/blob/master/docs/schedulis_deploy_cn.md) | [Schedulis AppConn部署](SchedulisAppConn插件安装文档.md)|
+  | Visualis | Visualis1.0.0  | [Visualis部署](https://github.com/WeBankFinTech/Visualis/blob/master/visualis_docs/zh_CN/Visualis_deploy_doc_cn.md) |[Visualis AppConn部署](https://github.com/WeBankFinTech/Visualis/blob/master/visualis_docs/zh_CN/Visualis_appconn_install_cn.md)|
+  | Exchangis | Exchangis1.0.0 | [Exchangis部署](https://github.com/WeDataSphere/Exchangis/blob/master/docs/zh_CN/ch1/exchangis_deploy_cn.md) | [Exchangis AppConn部署](https://github.com/WeDataSphere/Exchangis/blob/master/docs/zh_CN/ch1/exchangis_appconn_deploy_cn.md) |
+  | Qualitis |Qualitis0.9.2   |   [Qualitis部署](https://github.com/WeBankFinTech/Qualitis/blob/master/docs/zh_CN/ch1/%E5%BF%AB%E9%80%9F%E6%90%AD%E5%BB%BA%E6%89%8B%E5%86%8C%E2%80%94%E2%80%94%E5%8D%95%E6%9C%BA%E7%89%88.md) |[Qualitis AppConn部署](https://github.com/WeBankFinTech/Qualitis/blob/master/docs/zh_CN/ch1/%E6%8E%A5%E5%85%A5%E5%B7%A5%E4%BD%9C%E6%B5%81%E6%8C%87%E5%8D%97.md)   |
+  | Prophecis  | Prophecis |   [Prophecis部署]() | [Prophecis AppConn部署]() |
+  | Streamis  | Streamis0.2.0 |  [Streamis部署]()       | [Streamis AppConn部署]() |
+  | DolphinScheduler | DolphinScheduler | [DolphinScheduler 部署]() | [DolphinScheduler AppConn部署]() |