Merge pull request #107 from WeDataSphere/1.0.0

1.0.0

Author: jinyangrao

conf/linkis.properties

@@ -2,7 +2,7 @@
 # 1. need configuration
 #    需要配置
 # ##################################
-wds.linkis.gateway.url=http://127.0.0.1:9001/
+wds.linkis.gateway.url=http://127.0.0.1:9001
 
 # 需配置和Linkis结果集路径保持一致
 wds.linkis.filesystem.root.path=file:///mnt/bdap/

db/ddl.sql

@@ -31,21 +31,21 @@ CREATE TABLE `visualis_project` (
 
 ---- visualis使用这个表做权限管理
 --DROP TABLE IF EXISTS `linkis_user`;
---CREATE TABLE `linkis_user` (
---  `id` bigint(20) NOT NULL AUTO_INCREMENT,
---  `email` varchar(255) DEFAULT NULL,
---  `username` varchar(255) NOT NULL,
---  `password` varchar(255) DEFAULT NULL,
---  `admin` tinyint(1) DEFAULT NULL COMMENT 'If it is an administrator',
---  `active` tinyint(1) DEFAULT NULL COMMENT 'If it is active',
---  `name` varchar(255) DEFAULT NULL COMMENT 'User name',
---  `description` varchar(255) DEFAULT NULL,
---  `department` varchar(255) DEFAULT NULL,
---  `avatar` varchar(255) DEFAULT NULL COMMENT 'Path of the avator',
---  `create_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP,
---  `create_by` bigint(20) DEFAULT '0',
---  `update_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP,
---  `update_by` bigint(20) DEFAULT '0',
---  `is_first_login` bit(1) DEFAULT NULL COMMENT 'If it is the first time to log in',
---  PRIMARY KEY (`id`)
---) ENGINE=InnoDB DEFAULT CHARSET=utf8;
+CREATE TABLE `linkis_user` (
+  `id` bigint(20) NOT NULL AUTO_INCREMENT,
+  `email` varchar(255) DEFAULT NULL,
+  `username` varchar(255) NOT NULL,
+  `password` varchar(255) DEFAULT NULL,
+  `admin` tinyint(1) DEFAULT NULL COMMENT 'If it is an administrator',
+  `active` tinyint(1) DEFAULT NULL COMMENT 'If it is active',
+  `name` varchar(255) DEFAULT NULL COMMENT 'User name',
+  `description` varchar(255) DEFAULT NULL,
+  `department` varchar(255) DEFAULT NULL,
+  `avatar` varchar(255) DEFAULT NULL COMMENT 'Path of the avator',
+  `create_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP,
+  `create_by` bigint(20) DEFAULT '0',
+  `update_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP,
+  `update_by` bigint(20) DEFAULT '0',
+  `is_first_login` bit(1) DEFAULT NULL COMMENT 'If it is the first time to log in',
+  PRIMARY KEY (`id`)
+) ENGINE=InnoDB DEFAULT CHARSET=utf8;

server/src/main/java/com/webank/wedatasphere/dss/visualis/utils/HttpUtils.java

@@ -10,18 +10,19 @@
 import org.apache.http.impl.client.HttpClientBuilder;
 import org.apache.http.impl.cookie.BasicClientCookie;
 import org.apache.http.util.EntityUtils;
+import org.apache.linkis.errorcode.client.ClientConfiguration;
 import org.slf4j.Logger;
 import org.slf4j.LoggerFactory;
 
 import javax.servlet.http.Cookie;
 import javax.servlet.http.HttpServletRequest;
 import java.io.IOException;
+import java.net.URI;
 import java.net.URISyntaxException;
 import java.util.Date;
 
 public class HttpUtils {
-    private static final String GATEWAY_URL = CommonConfig.GATEWAY_PROTOCOL().getValue() +
-            CommonConfig.GATEWAY_IP().getValue() + ":" + CommonConfig.GATEWAY_PORT().getValue();
+    private static final String GATEWAY_URL = ClientConfiguration.getGatewayUrl();
     private static final String DATABASE_URL = GATEWAY_URL + CommonConfig.DB_URL_SUFFIX().getValue();
     private static final String TABLE_URL = GATEWAY_URL + CommonConfig.TABLE_URL_SUFFIX().getValue();
     private static final String COLUMN_URL = GATEWAY_URL + CommonConfig.COLUMN_URL_SUFFIX().getValue();
@@ -34,7 +35,7 @@ public static String getDbs(String ticketId) {
         HttpGet httpGet = new HttpGet(DATABASE_URL);
         BasicClientCookie cookie = new BasicClientCookie(CommonConfig.TICKET_ID_STRING().getValue(), ticketId);
         cookie.setVersion(0);
-        cookie.setDomain(CommonConfig.GATEWAY_IP().getValue());
+        cookie.setDomain(getIpFromUrl(GATEWAY_URL));
         cookie.setPath("/");
         cookie.setExpiryDate(new Date(System.currentTimeMillis() + 1000 * 60 * 60 * 24 * 30L));
         cookieStore.addCookie(cookie);
@@ -59,7 +60,7 @@ public static String getTables(String ticketId, String hiveDBName) {
             HttpGet httpGet = new HttpGet(uriBuilder.build());
             BasicClientCookie cookie = new BasicClientCookie(CommonConfig.TICKET_ID_STRING().getValue(), ticketId);
             cookie.setVersion(0);
-            cookie.setDomain(CommonConfig.GATEWAY_IP().getValue());
+            cookie.setDomain(getIpFromUrl(GATEWAY_URL));
             cookie.setPath("/");
             cookieStore.addCookie(cookie);
             CloseableHttpResponse response = httpClient.execute(httpGet);
@@ -84,7 +85,7 @@ public static String getColumns(String dbName, String tableName, String ticketId
             HttpGet httpGet = new HttpGet(uriBuilder.build());
             BasicClientCookie cookie = new BasicClientCookie(CommonConfig.TICKET_ID_STRING().getValue(), ticketId);
             cookie.setVersion(0);
-            cookie.setDomain(CommonConfig.GATEWAY_IP().getValue());
+            cookie.setDomain(getIpFromUrl(GATEWAY_URL));
             cookie.setPath("/");
             cookieStore.addCookie(cookie);
             CloseableHttpResponse response = httpClient.execute(httpGet);
@@ -109,6 +110,18 @@ public static String getUserTicketId(HttpServletRequest request) {
         return ticketId;
     }
 
+    // http://127.0.0.1:9001
+    private static String getIpFromUrl(String url) {
+        URI uri = URI.create(url);
+        String ip = "";
+        int port = 0;
+        if (uri != null) {
+            ip = uri.getHost();
+            port = uri.getPort();
+        }
+        return ip;
+    }
+
 }
 
 

server/src/main/scala/com/webank/wedatasphere/dss/visualis/configuration/CommonConfig.scala

@@ -2,24 +2,14 @@ package com.webank.wedatasphere.dss.visualis.configuration
 
 import org.apache.linkis.common.conf.CommonVars
 
-/**
- * Created by allenlliu on 2019/1/26.
- */
+
 object CommonConfig {
   /**
    * 接口越权检测
    * */
   val CHECK_PROJECT_USER = CommonVars("wds.dss.visualis.check.project.user", false)
 
   val ENGINE_DEFAULT_LIMIT = CommonVars("wds.dss.engine.default.limit", 5000)
-  /**
-   * this is the configuration to get the hive database source
-   */
-  val GATEWAY_IP = CommonVars("wds.dss.visualis.gateway.ip", "")
-
-  val GATEWAY_PORT = CommonVars("wds.dss.visualis.gateway.port", "")
-
-  val GATEWAY_PROTOCOL = CommonVars("wds.dss.visualis.gateway.protocol", "http://")
 
   val DB_URL_SUFFIX = CommonVars("wds.dss.visualis.database.url", "/api/rest_j/v1/datasource/dbs")
 

server/src/main/scala/com/webank/wedatasphere/dss/visualis/utils/VisualisUtils.scala

@@ -16,9 +16,6 @@ import edp.core.model.{BaseSource, PaginateWithQueryColumns}
 import edp.davinci.model.View
 import org.apache.linkis.adapt.LinkisUtils
 
-/**
-  * Created by johnnwang on 2019/1/23.
-  */
 object VisualisUtils {
 
   val sender = Sender.getSender(EntranceConfiguration.QUERY_PERSISTENCE_SPRING_APPLICATION_NAME.getValue)

visualis_docs/zh_CN/Visualis_appconn_install_cn.md

@@ -17,26 +17,15 @@ cd {DSS_INSTALL_HOME}/dss/bin
 
 >> sh appconn-install.sh
 
-# 选择安装Visualis AppConn
->> 2
+# 输入Visualis名称
+>> visualis
 
-# 输入Visualis部署的服务器IP
+# 输入Visualis前端IP地址
 >> 127.0.0.1
 
-# 输入Visualis服务的端口号
+# 输入Visualis服务的前端端口后
 >> 8989
 
 # 在执行AppConn安装脚本工具后，会插入相关第三方AppConn的配置信息
 ```
-
-    **需要额外注意，DSS1.0.1中Visualis AppConn请求需要走服务端请求路径，来支持DSS工作流和Visualis服务的交互（下个版本我们会修复这个问题）。相关表修改记录参考如下：**
-```sql
--- ${ip}: 服务端IP 127.0.0.1
--- ${port}: 服务端端口 9888
-update dss_appconn_instance set url='http://${ip}:${port}/' where appconn_id = (select id from dss_appconn where appconn_name = 'visualis');
-
--- 也可以通过比对dss_appconn和dss_appconn_instance两个表修改配置
---1. 首先找到dss_appconn appconn_name为visualis的列
---2. 找到visualis appconn对应的appconn_instance
-```
     修改完成后需要重启DSS服务。

visualis_docs/zh_CN/Visualis_deploy_doc_cn.md

@@ -10,26 +10,25 @@ Visualis编译部署文档
 | JDK (1.8.0_141) | 必装 | [如何安装JDK](https://www.runoob.com/java/java-environment-setup.html) |
 | Hadoop(2.7.2，Hadoop 其他版本需自行编译 Linkis) | 必装 | [Hadoop单机部署](https://linkis.apache.org/zh-CN/docs/latest/deployment/quick_deploy) ；[Hadoop分布式部署](https://linkis.apache.org/zh-CN/docs/latest/deployment/quick_deploy) |
 | Spark(2.4.3，Spark 其他版本需自行编译 Linkis) | 必装 | [Spark快速安装](https://linkis.apache.org/zh-CN/docs/latest/deployment/quick_deploy) |
-| DSS1.0.1 | 必装 | [如何安装DSS](https://github.com/WeBankFinTech/DataSphereStudio-Doc/blob/main/zh_CN/%E5%AE%89%E8%A3%85%E9%83%A8%E7%BD%B2/DSS%E5%8D%95%E6%9C%BA%E9%83%A8%E7%BD%B2%E6%96%87%E6%A1%A3.md) |
-| Linkis1.1.1（大于等于该版本） | 必装(在linkis.properties中需要加入配置wds.linkis.session.ticket.key=bdp-user-ticket-id) | [如何安装Linkis](https://linkis.apache.org/zh-CN/docs/latest/deployment/quick_deploy) |
+| DSS1.1.0 | 必装 | [如何安装DSS](https://github.com/WeBankFinTech/DataSphereStudio-Doc/blob/main/zh_CN/%E5%AE%89%E8%A3%85%E9%83%A8%E7%BD%B2/DSS%E5%8D%95%E6%9C%BA%E9%83%A8%E7%BD%B2%E6%96%87%E6%A1%A3.md) |
+| Linkis1.1.1（大于等于该版本） | 必装 | [如何安装Linkis](https://linkis.apache.org/zh-CN/docs/latest/deployment/quick_deploy) |
 | Nginx | 必装 | [如何安装 Nginx](http://nginx.org/en/linux_packages.html) |
 
 ## 1.2. 创建 Linux 用户
 
     请保持Visualis的部署用户与Linkis的部署用户一致，采用hadoop用户部署。
 
 ## 1.3. 底层依赖组件检查
-&nbsp;&nbsp;&nbsp;&nbsp;<font color="red">如果想使用Visualis1.0.0-rc1版本，需要拉取最新的[DSS源码](https://github.com/WeBankFinTech/DataSphereStudio)master分支编译打包，或者下载6月15号后最新的DSS一键全家桶包。</font>  
-&nbsp;&nbsp;&nbsp;&nbsp;**在安装linkis后，需要在linkis.properties中加入配置wds.linkis.session.ticket.key=bdp-user-ticket-id，并重启服务，请确保DSS1.0.1与Linkis1.1.1 基本可用，可在 DSS 前端界面执行 SparkQL 脚本，可正常创建并执行 DSS 工作流。**
+&nbsp;&nbsp;&nbsp;&nbsp;**在安装linkis后，请确保DSS1.1.0与Linkis1.1.1 基本可用，可在 DSS 前端界面执行 SparkQL 脚本，可正常创建并执行 DSS 工作流。**
 
 ## 1.4. 下载源码包及编译后端
 &nbsp;&nbsp;&nbsp;&nbsp;Visualis源码安装时，需要下载对应的源码包进行编译，目前Visualis在依赖的DSS 1.0.1版本和Linkis1.1.1版本已经上传到Maven中央仓库，只需Maven配置正常即可拉取相关依赖。
 ```shell
 # 1. 下载源码
 git clone https://github.com/WeDataSphere/Visualis.git
 
-# 2. 切换到1.0.0-rc1分支
-git checkout 1.0.0-rc1
+# 2. 切换到1.0.0分支
+git checkout 1.0.0
 
 # 3. 执行编译打包
 cd Visualis
@@ -210,15 +209,16 @@ spring:
 # 1. need configuration
 #    需要配置
 # ##################################
-wds.linkis.gateway.url=http://127.0.0.1:9001/
+wds.linkis.gateway.url=http://127.0.0.1:9001
 
 # 其它可以使用默认参数
 # 省略配置
 ```
+&nbsp;&nbsp;&nbsp;&nbsp;**如果Visualis部署的hadoop集群配置了Kerberos，需要在Visualis的配置文件linkis.properties文件中开启Kerberos，加入配置项：wds.linkis.keytab.enable=true**
 
 ## 3. 启动应用
 
-&nbsp;&nbsp;&nbsp;&nbsp;在配置和前端包编译完成后，可以尝试启动服务。Visualis目前和DSS集成，使用了DSS的登录及权限体系，使用前需部署完成DSS1.0.1版本，可以参考DSS1.0.1一键安装部署。（**由于此次visualis-1.0.0-rc1版本属于内测版，如需正常使用，请编译最新的DSS master分支代码**）
+&nbsp;&nbsp;&nbsp;&nbsp;在配置和前端包编译完成后，可以尝试启动服务。Visualis目前和DSS集成，使用了DSS的登录及权限体系，使用前需部署完成DSS1.1.0版本，可以参考DSS1.1.0一键安装部署。
 
 ### 3.1. 执行启动脚本