Merge branch 'dev' into local/dev-898

Author: scottsut

Deployment.md

@@ -8,7 +8,7 @@ title: 部署
 - 用户名：demo
 - 密码：123456
 
-## 1 环境准备
+## 1. 环境准备
 
 - JDK 1.8+
 - MySql5.7+
@@ -40,36 +40,47 @@ unzip datart-server-1.0.0-beta.x-install.zip
 
 ```
 
-## 2 初始化数据库
+## 2. 以独立模式运行
+安装包解压后，即可运行 ./bin/datart-server.sh start 来启动datart,启动后默认访问地址是: <http://127.0.0.1:8080>,默认用户`demo/123456`
 
-- 创建数据库，并将bin/datart.sql导入到数据库中
+***独立模式使用内置数据库作为应用数据库，数据的安全性和数据迁移无法保证，建议配置外部数据库作为应用数据库***
+
+## 3. 配置外部数据库，要求Mysql5.7及以上版本。
+
+- 创建数据库，指定数据库编码为utf8
 
 ```bash
 mysql> CREATE DATABASE `datart` CHARACTER SET 'utf8' COLLATE 'utf8_general_ci';
-mysql> use datart;
-mysql> source bin/datart.sql
 ```
+***注意：1.0.0-beta.2版本以前，需要手动执行`bin/datart.sql`来初始化数据库。此版本及以上版本，创建好数据库即可，在初次连接时会自动初始化数据库***
 
-## 3 修改配置文件
+***首次连接数据库(或者版本升级)时,建议使用一个权限较高的数据库账号登录(如root账号)。因为首次连接会执行数据库初始化脚本，如果使用的数据库账号权限太低，会导致数据库初始化失败***
 
-- 配置文件位于 config/application-config.yml.example，先重命名为application-config.yml
+- 基础配置：配置文件位于 config/datart.conf
 ```bash
-   mv ${DATART_HOME}/config/application-config.yml.example  ${DATART_HOME}/config/application-config.yml
-   
-   需要修改的配置项:
-      1. 数据库连接信息(必须)
-      2. 邮件配置(注册需邮箱激活时必须)
-      3. 浏览器截图驱动(可选-需要使用定时任务邮件发送图表截图时可配置)
-      4. Redis(可选-需要使用缓存时可配置)
-    具体配置见下述:
-   
+   数据库配置(必填):
+    1. datasource.ip(数据库IP地址)
+    2. datasource.port(数据库端口数据库端口)
+    3. datasource.database(指定数据库)
+    4. datasource.username(用户名)
+    5. datasource.password(密码)
+    
+   其它配置(选填):
+    1. server.port(应用绑定端口地址,默认8080)
+    2. server.address(应用绑定IP地址,默认 0.0.0.0)
+    3. datart.address(datart 外部可访问地址,默认http://127.0.0.1)
+    4. datart.send-mail(用户注册是否使用邮件激活,默认 false )
+    5. datart.webdriver-path(截图驱动)
 ```
 
+##4. 高级配置 (可选) : 配置文件位于 config/profiles/application-config.yml 
+
+***高级配置文件格式是yml格式,配置错误会导致程序无法启动。配置时一定要严格遵循yml格式。***
 
-### 3.1 配置文件信息
+***application-config.yml直接由spring-boot处理,其中的oauth2,redis,mail等配置项完全遵循spring-boot-autoconfigure配置***
 
-***注：请务必保留连接串中的`allowMultiQueries=true`参数***
 
+### 4.1 配置文件信息
 ```yaml
 spring:
   datasource:
@@ -144,7 +155,7 @@ datart:
 *注意：加密密钥每个服务端部署前应该进行修改，且部署后不能再次修改。如果是集群部署，同一个集群内的secret要保持统一*
 
 
-### 3.2 截图配置 [ChromeWebDriver]-可选
+### 4.2 截图配置 [ChromeWebDriver]-可选
 
 ```bash
 
@@ -154,7 +165,7 @@ docker run -p 4444:4444 -d --name selenium-chrome --shm-size="2g" selenium/stand
 
 ```
 
-### 4 启动服务
+### 5. 启动服务
 
 *注意：启动脚本 已更新了 start|stop|status|restart*
 

Dockerfile

@@ -1,11 +1,11 @@
 FROM java:8
 LABEL "author"="tl"
 RUN mkdir /datart
-COPY ./bin/* /datart/bin/
-COPY ./config/* /datart/config/
-COPY ./lib/* /datart/lib/
+COPY ./bin/ /datart/bin/
+COPY ./config/ /datart/config/
+COPY ./lib/ /datart/lib/
 COPY static /datart/static
 ENV TZ=Asia/Shanghai
-EXPOSE 58080
+EXPOSE 8080
 WORKDIR /datart
 ENTRYPOINT java -cp "lib/*" datart.DatartServerApplication

bin/datart-demo.cmd

@@ -0,0 +1,17 @@
+# this file has the highest priority, if val is not blank, then will replace the config
+
+# datasource config
+datasource.ip=
+datasource.port=
+datasource.database=
+datasource.username=
+datasource.password=
+
+# server
+server.port=8080
+server.address=0.0.0.0
+
+# datart config
+datart.address=http://127.0.0.1
+datart.send-mail=false
+datart.webdriver-path=http://127.0.0.1:4444/wd/hub

bin/datart-demo.sh

@@ -18,4 +18,14 @@ IMPALA:
 
 
 ORACLE:
-  quote-identifiers: false
+  quote-identifiers: false
+
+DORIS:
+  db-type: "doris"
+  name: "doris"
+  driver-class: "com.mysql.cj.jdbc.Driver"
+  literal-quote: "'"
+  identifier-quote: "`"
+  adapter-class: "datart.data.provider.jdbc.adapters.DorisDataProviderAdapter"
+  url-prefix: "jdbc:mysql://"
+

bin/h2/datart.demo.mv.db

@@ -1,6 +1,7 @@
 <configuration scan="true" scanPeriod="60 seconds" debug="false">
 
     <property name="LOG_HOME" value="./logs"/>
+    <property name ="SQL_LEVEL" value="DEBUG"/>
 
     <appender name="console" class="ch.qos.logback.core.ConsoleAppender">
         <encoder>
@@ -22,13 +23,27 @@
         </encoder>
     </appender>
 
+    <appender name="sql" class="ch.qos.logback.core.rolling.RollingFileAppender">
+        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
+            <FileNamePattern>${LOG_HOME}/%d{yyyy-MM-dd}-sql.log</FileNamePattern>
+            <MaxHistory>30</MaxHistory>
+        </rollingPolicy>
+        <encoder>
+            <charset>UTF-8</charset>
+            <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{50} : %msg%n</pattern>
+        </encoder>
+    </appender>
+
     <root level="INFO">
         <appender-ref ref="console"/>
         <appender-ref ref="root" />
     </root>
 
-    <logger name="access" additivity="false" level="INFO">
-        <appender-ref ref="error_db_appender"/>
+    <logger name="datart.data.provider.jdbc.adapters" level="${SQL_LEVEL}">
+        <appender-ref ref="sql"/>
+    </logger>
+    <logger name="datart.data.provider.local.LocalDB" level="${SQL_LEVEL}">
+        <appender-ref ref="sql"/>
     </logger>
 
 </configuration>

bin/h2/datart.demo.trace.db

@@ -2,13 +2,12 @@ spring:
   datasource:
     driver-class-name: com.mysql.cj.jdbc.Driver
     type: com.alibaba.druid.pool.DruidDataSource
-    url: jdbc:mysql://{IP:PORT}/datart?&allowMultiQueries=true
-    username: { USERNAME }
-    password: { PASSWORD }
+    url: jdbc:mysql://${datasource.ip:null}:${datasource.port:3306}/${datasource.database:datart}?&allowMultiQueries=true&characterEncoding=utf-8
+    username: ${datasource.username:root}
+    password: ${datasource.password:123456}
 
 # security:
 #   oauth2:
-#     enable: true
 #     client:
 #       registration:
 #         cas:
@@ -61,22 +60,16 @@ spring:
 
 
 server:
-  port: { PORT }
-  address: { IP }
-
-  # 开启 gzip 压缩，加快请求和响应速度
-  compression:
-    enabled: true
-    mime-types: application/javascript,application/json,application/xml,text/html,text/xml,text/plain,text/css,image/*
-
+  port: ${server.port:8080}
+  address: ${server.ip:0.0.0.0}
 
 datart:
   server:
-    address: http://{IP/域名}:{端口}
+    address: ${datart.address:http://127.0.0.1:8080}
 
   user:
     active:
-      send-mail: true  # 注册用户时是否需要邮件验证激活
+      send-mail: ${datart.send-mail:false}  # 注册用户时是否需要邮件验证激活
 
   security:
     token:
@@ -89,4 +82,4 @@ datart:
   screenshot:
     timeout-seconds: 60
     webdriver-type: CHROME
-    webdriver-path: { Web Driver Path }
+    webdriver-path: ${datart.webdriver-path:}