Skip to content

Commit faffa35

Browse files
simenliuxingsimenliuxing
committed
readme
1 parent cd0e854 commit faffa35

File tree

6 files changed

+146
-7
lines changed

6 files changed

+146
-7
lines changed

‎README.md‎

Lines changed: 3 additions & 2 deletions
Original file line numberDiff line numberDiff line change
@@ -22,7 +22,6 @@
2222
* 结果表：mysql, SQlServer, oracle, hbase, elasticsearch5.x, mongo, redis, cassandra, console, kudu, postgresql
2323

2424
# 后续开发计划
25-
* 增加SQL支持CEP
2625
* 维表快照
2726
* sql优化（谓词下移等）
2827
* kafka avro格式
@@ -39,7 +38,7 @@
3938
### 1.2 执行环境
4039

4140
* Java: JDK8及以上
42-
* Flink集群: 1.4,1.5（单机模式不需要安装Flink集群）
41+
* Flink集群: 1.4,1.5,1.8（单机模式不需要安装Flink集群）
4342
* 操作系统：理论上不限
4443

4544
### 1.3 打包
@@ -167,6 +166,7 @@ sh submit.sh -sql D:\sideSql.txt -name xctest -remoteSqlPluginPath /opt/dtstack
167166
* [cassandra 结果表插件](docs/cassandraSink.md)
168167
* [kudu 结果表插件](docs/kuduSink.md)
169168
* [postgresql 结果表插件](docs/postgresqlSink.md)
169+
* [clickhouse 结果表插件](docs/clickhouseSink.md)
170170

171171
### 2.3 维表插件
172172
* [hbase 维表插件](docs/hbaseSide.md)
@@ -176,6 +176,7 @@ sh submit.sh -sql D:\sideSql.txt -name xctest -remoteSqlPluginPath /opt/dtstack
176176
* [cassandra 维表插件](docs/cassandraSide.md)
177177
* [kudu 维表插件](docs/kuduSide.md)
178178
* [postgresql 维表插件](docs/postgresqlSide.md)
179+
* [clickhouse 维表插件](docs/clickhouseSide.md)
179180

180181
## 3 性能指标(新增)
181182

‎docs/clickhouseSide.md‎

Lines changed: 85 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,85 @@
1+
2+
## 1.格式：
3+
```
4+
CREATE TABLE tableName(
5+
colName cloType,
6+
...
7+
PRIMARY KEY(keyInfo),
8+
PERIOD FOR SYSTEM_TIME
9+
)WITH(
10+
type='clickhouse',
11+
url='jdbcUrl',
12+
userName='dbUserName',
13+
password='dbPwd',
14+
tableName='tableName',
15+
cache ='LRU',
16+
cacheSize ='10000',
17+
cacheTTLMs ='60000',
18+
parallelism ='1',
19+
partitionedJoin='false'
20+
);
21+
```
22+
23+
# 2.支持版本
24+
19.14.x、19.15.x、19.16.x
25+
26+
## 3.表结构定义
27+
28+
|参数名称|含义|
29+
|----|---|
30+
| tableName | clickhouse表名称|
31+
| colName | 列名称|
32+
| colType | 列类型 [colType支持的类型](colType.md)|
33+
| PERIOD FOR SYSTEM_TIME | 关键字表明该定义的表为维表信息|
34+
| PRIMARY KEY(keyInfo) | 维表主键定义;多个列之间用逗号隔开|
35+
36+
## 4.参数
37+
38+
|参数名称|含义|是否必填|默认值|
39+
|----|---|---|----|
40+
| type | 表明维表的类型 clickhouse |是||
41+
| url | 连接clickhouse数据库 jdbcUrl |是||
42+
| userName | clickhouse连接用户名 |是||
43+
| password | clickhouse连接密码|是||
44+
| tableName | clickhouse表名称|是||
45+
| tableName | clickhouse 的表名称|是||
46+
| cache | 维表缓存策略(NONE/LRU)|否|NONE|
47+
| partitionedJoin | 是否在維表join之前先根据 設定的key 做一次keyby操作(可以減少维表的数据缓存量)|否|false|
48+
49+
----------
50+
> 缓存策略
51+
* NONE: 不做内存缓存
52+
* LRU:
53+
* cacheSize: 缓存的条目数量
54+
* cacheTTLMs:缓存的过期时间(ms)
55+
* cacheMode: (unordered|ordered)异步加载是有序还是无序,默认有序。
56+
* asyncCapacity:异步请求容量，默认1000
57+
* asyncTimeout：异步请求超时时间，默认10000毫秒
58+
59+
## 5.样例
60+
```
61+
create table sideTable(
62+
channel varchar,
63+
xccount int,
64+
PRIMARY KEY(channel),
65+
PERIOD FOR SYSTEM_TIME
66+
)WITH(
67+
type='clickhouse',
68+
url='jdbc:clickhouse://172.16.8.104:3306/test?charset=utf8',
69+
userName='dtstack',
70+
password='abc123',
71+
tableName='sidetest',
72+
cache ='LRU',
73+
cacheSize ='10000',
74+
cacheTTLMs ='60000',
75+
cacheMode='unordered',
76+
asyncCapacity='1000',
77+
asyncTimeout='10000'
78+
parallelism ='1',
79+
partitionedJoin='false'
80+
);
81+
82+
83+
```
84+
85+

‎docs/clickhouseSink.md‎

Lines changed: 53 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,53 @@
1+
## 1.格式：
2+
```
3+
CREATE TABLE tableName(
4+
colName colType,
5+
...
6+
colNameX colType
7+
)WITH(
8+
type ='clickhouse',
9+
url ='jdbcUrl',
10+
userName ='userName',
11+
password ='pwd',
12+
tableName ='tableName',
13+
parallelism ='parllNum'
14+
);
15+
16+
```
17+
18+
## 2.支持版本
19+
19.14.x、19.15.x、19.16.x
20+
21+
## 3.表结构定义
22+
23+
|参数名称|含义|
24+
|----|---|
25+
| tableName| clickhouse表名称|
26+
| colName | 列名称|
27+
| colType | 列类型 [colType支持的类型](colType.md)|
28+
29+
## 4.参数：
30+
31+
|参数名称|含义|是否必填|默认值|
32+
|----|----|----|----|
33+
|type |表明 输出表类型 clickhouse |是||
34+
|url | 连接clickhouse 数据库 jdbcUrl |是||
35+
|userName | clickhouse 连接用户名 |是||
36+
| password | clickhouse 连接密码|是||
37+
| tableName | clickhouse 表名称|是||
38+
| parallelism | 并行度设置|否|1|
39+
40+
## 5.样例：
41+
```
42+
CREATE TABLE MyResult(
43+
channel VARCHAR,
44+
pv VARCHAR
45+
)WITH(
46+
type ='clickhouse',
47+
url ='jdbc:clickhouse://172.16.8.104:3306/test?charset=utf8',
48+
userName ='dtstack',
49+
password ='abc123',
50+
tableName ='pv2',
51+
parallelism ='1'
52+
)
53+
```

‎docs/kafkaSource.md‎

Lines changed: 1 addition & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -38,7 +38,7 @@ CREATE TABLE tableName(
3838

3939
|参数名称|含义|是否必填|默认值|
4040
|----|---|---|---|
41-
|type | kafka09 | 是||
41+
|type | kafka09 | 是|kafka08、kafka09、kafka10、kafka11、kafka(对应kafka1.0及以上版本)|
4242
|kafka.group.id | 需要读取的 groupId 名称|否||
4343
|kafka.bootstrap.servers | kafka bootstrap-server 地址信息(多个用逗号隔开)|是||
4444
|kafka.zookeeper.quorum | kafka zk地址信息(多个之间用逗号分隔)|是||

‎docs/mysqlSide.md‎

Lines changed: 2 additions & 2 deletions
Original file line numberDiff line numberDiff line change
@@ -27,7 +27,7 @@
2727

2828
|参数名称|含义|
2929
|----|---|
30-
| tableName | 注册到flink的表名称(可选填;不填默认和hbase对应的表名称相同)|
30+
| tableName | mysql表名称|
3131
| colName | 列名称|
3232
| colType | 列类型 [colType支持的类型](colType.md)|
3333
| PERIOD FOR SYSTEM_TIME | 关键字表明该定义的表为维表信息|
@@ -37,7 +37,7 @@
3737

3838
|参数名称|含义|是否必填|默认值|
3939
|----|---|---|----|
40-
| type | 表明维表的类型[hbase\|mysql] |是||
40+
| type | 表明维表的类型 mysql |是||
4141
| url | 连接mysql数据库 jdbcUrl |是||
4242
| userName | mysql连接用户名 |是||
4343
| password | mysql连接密码|是||

‎docs/mysqlSink.md‎

Lines changed: 2 additions & 2 deletions
Original file line numberDiff line numberDiff line change
@@ -22,15 +22,15 @@ CREATE TABLE tableName(
2222

2323
|参数名称|含义|
2424
|----|---|
25-
| tableName| 在 sql 中使用的名称;即注册到flink-table-env上的名称|
25+
| tableName| mysql表名称|
2626
| colName | 列名称|
2727
| colType | 列类型 [colType支持的类型](colType.md)|
2828

2929
## 4.参数：
3030

3131
|参数名称|含义|是否必填|默认值|
3232
|----|----|----|----|
33-
|type |表明 输出表类型[mysql\|hbase\|elasticsearch]|是||
33+
|type |表明 输出表类型mysql|是||
3434
|url | 连接mysql数据库 jdbcUrl |是||
3535
|userName | mysql连接用户名 |是||
3636
| password | mysql连接密码|是||

0 commit comments

Comments
 (0)