Skip to content

Commit 26b41c2

Browse files
authored
3.2411 (#22)
* 快捷审核支持自由切换审核规则模版 * 批量导入数据源时连通性测试优化+新增备份配置说明 * 工单备份回滚能力 * 更新两个扫描类型支持的数据源类型 * 更新两个扫描类型支持的数据源类型 * 更新上传文件大小阈值 * 更新回滚部分表述 * Update quick_audit.md * Update rollback.md * Update rollback.md
1 parent 35f7d99 commit 26b41c2

File tree

8 files changed

+230
-75
lines changed

8 files changed

+230
-75
lines changed

docs/support/compare.md

Lines changed: 3 additions & 3 deletions
Original file line numberDiff line numberDiff line change
@@ -525,8 +525,8 @@ title: 功能对比
525525
<td>√</td>
526526
<td> </td>
527527
<td> </td>
528-
<td> </td>
529-
<td> </td>
528+
<td></td>
529+
<td></td>
530530
</tr>
531531
<tr>
532532
<td>上线中止</td>
@@ -690,7 +690,7 @@ title: 功能对比
690690
<td>√</td>
691691
<td>√</td>
692692
<td>√</td>
693-
<td> </td>
693+
<td></td>
694694
<td>√</td>
695695
</tr>
696696
<tr>

docs/user-manual/project/audit_task/java_agent_audit.md

Lines changed: 1 addition & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -4,7 +4,7 @@ title: Java探针版应用程序SQL抓取【企业版】
44
本节介绍如何利用SQLE平台抓取java应用中的SQL,选取的例子是一个[开源的问卷调查java应用](https://gitee.com/surveyking/surveyking),架构简单,上手相对容易。
55

66
## 支持的数据源类型
7-
* All
7+
* MySQL
88

99
## 前置准备
1010

docs/user-manual/project/audit_task/java_application_audit.md

Lines changed: 0 additions & 6 deletions
Original file line numberDiff line numberDiff line change
@@ -5,12 +5,6 @@ title: 应用程序SQL抓取【企业版】
55

66
## 支持的数据源类型
77
* MySQL
8-
* Oracle
9-
* DB2
10-
* OceanBase for MySQL
11-
* PostgreSQL
12-
* TiDB
13-
* SQL Server
148

159
## 前置准备
1610

docs/user-manual/project/instance-manager.md

Lines changed: 70 additions & 48 deletions
Original file line numberDiff line numberDiff line change
@@ -3,40 +3,61 @@ title: 数据源管理
33
---
44

55
# 数据源管理
6-
本文介绍如何在项目中进行数据源管理,包括数据源的增加、删除、编辑操作。
7-
数据源是工单和扫描任务的实施对象,用户在平台创建的工单和扫描任务都将针对指定的数据源执行。因而项目创建后需要首先配置项目内可用的数据源。
86

9-
:::tip
10-
数据源是SQLE连库审核的对象,任何审核的场景下若可以不选数据源则代表将进行脱库审核。
11-
:::
7+
数据源管理是SQLE平台的核心功能之一,用于统一管理和维护各类数据库连接。它是工单处理和扫描任务的基础,为SQL审核和执行提供必要的连接信息。
8+
9+
### 适用对象
10+
- 项目管理员:负责数据源的添加、配置和维护
11+
- 数据库管理员:协助配置正确的连接信息
12+
13+
### 核心价值
14+
- 集中化管理:统一管理所有数据库连接
15+
- 安全性:统一的权限控制和审计
16+
- 标准化:规范化的数据源配置和管理流程
1217

13-
### 使用场景
14-
实际生产中,如果需要针对某个数据源下发SQL或创建扫描任务,需要首先将数据源添加至SQLE平台,测试连通成功后才可创建工单、创建扫描任务。
1518

1619
### 添加单个数据源
1720

18-
#### 使用场景
19-
实际生产中,如果需要针对某个数据源下发SQL或创建扫描任务,需要首先将数据源添加至SQLE平台,测试连通成功后才可创建工单、创建扫描任务。
2021

2122
#### 前置操作
2223
项目管理员进入指定的项目
2324

25+
#### 添加数据源
26+
1. 进入项目后,点击左侧导航栏的`数据源`菜单
27+
2. 点击`添加数据源`按钮
28+
3. 填写数据源信息
29+
30+
2431
#### 操作步骤
2532
点击左侧导航栏的`数据源`菜单,进入数据源管理页面后,点击`添加数据源`,填写数据源相关信息
2633

27-
##### 基本信息
28-
* 数据源名称:命名当前新建的数据源,如:actionsky-test;
29-
* 数据源描述:用户可对数据源补充更多描述,便于用户通过名称+描述快速更精准地区分数据源;
30-
* 数据库类型:选择数据库实例对应的数据库类型,当前支持的数据库类型包括MySQL、PostgreSQL、Oracle、SQL server、DB2、TiDB、OceanBase For MySQL、OceanBase For Oracle、Mycat、TDSQL for InnoDB、达梦;
31-
* 数据库地址:输入数据库实例的连接地址,支持IP地址、域名两种方式;
32-
* 数据库端口:添加数据源时根据数据源类型自动切换默认端口;
33-
* 连接用户:输入数据库实例的连接用户,SQLE在执行SQL审核以及SQL上线时,会通过该连接用户访问数据库实例及下发SQL;
34-
* 密码:输入数据库实例的连接用户密码;
35-
##### 配置信息
36-
* 审核规则模板:审核规则模板将用于创建工单时的审核、扫描任务的审核、SQL查询的审核;
37-
* 运维时间:如果配置了运维时间, 工单将只能在运维时间内上线(立即上线和定时上线都受此影响), 支持配置多个运维时间, 默认无运维时间,即不限制上线时间;
34+
##### 基本信息配置
35+
36+
| 配置项 | 说明 | 是否必填 | 示例 |
37+
|--------|------|----------|------|
38+
| 数据源名称 | 具有识别性的唯一名称 || prod-mysql-01 |
39+
| 数据源描述 | 补充说明信息 || 生产环境主库 |
40+
| 数据库类型 | 选择对应的数据库类型 || MySQL |
41+
| 数据库地址 | IP地址或域名 || 127.0.0.1 |
42+
| 数据库端口 | 默认将根据数据库类型自动填充 || 3306 |
43+
| 连接用户 | 具有所需操作权限的用户 || sqle_user |
44+
| 密码 | 连接用户的密码 || - |
45+
| 运维时间 | 允许执行工单的时间段 || 23:00-06:00 |
46+
47+
##### 高级配置
48+
49+
| 配置项 | 说明 | 是否必填 | 示例 |
50+
|--------|------|--------|------|
51+
| 审核规则模板 | 用于SQL审核的规则集合 || Default_MySQL |
52+
| SQL查询审核 | 是否开启查询语句审核 || 开启 |
53+
| SQL工作台运行查询的最高审核等级 | 允许执行的最高风险等级 || error |
54+
| 开启数据源上的SQL备份能力 | 数据源是否需要备份 || 开启 |
55+
| 回滚行数限制 |当预计影响行数超过指定值则不回滚 || 10000 |
56+
57+
:::tip
3858
* SQL查询是否需要审核:默认不审核;如用户选择开启该功能,则用户在SQL工作台中提交的SQL语句,将匹配审核规则模板进行SQL审核操作;
3959
* 运行查询的最高审核等级:只有开启 SQL查询的审核功能才生效;支持四种审核等级:normal、notice、warn、error,如设置运行查询的最高审核等级为warn,则触发了warn等级规则以上的SQL语句将报错,并不予执行;未触发warn等级规则以上的SQL语句将被执行;
60+
:::
4061

4162
#### 执行结果
4263
数据源添加成功后,可在数据源列表查看新增的数据源信息。
@@ -45,7 +66,7 @@ title: 数据源管理
4566

4667

4768
### 批量添加数据源
48-
为提高平台初始化效率,用户可通过上传CSV文件,快速批量导入多个数据源,减少手动添加工作量。此功能支持数据源的预检和连通性测试,确保数据源的有效性和可用性。
69+
为提高平台初始化效率,用户可通过上传CSV文件,快速批量导入多个数据源,减少手动添加工作量。
4970

5071
#### 使用场景
5172
* 平台初始化时需导入大量数据源。
@@ -57,41 +78,42 @@ title: 数据源管理
5778
* 项目管理员/平台管理员进入项目列表。
5879

5980
#### 操作步骤
60-
点击右上角的`批量导入数据源`按钮,进入批量导入数据源页面。
6181

62-
##### 获取导入模板
63-
* 点击`下载导入模板`,获得下载文件。
82+
1. 点击`批量导入数据源`按钮
83+
2. 下载导入模板
84+
3. 填写数据源信息,参考[添加单个数据源](#添加单个数据源)
85+
4. 上传文件并等待验证
86+
5. 确认导入
6487

65-
##### 填写数据源信息
66-
67-
模板中包含的字段与[添加单个数据源](#添加单个数据源)中的信息保持一致。
68-
69-
##### 上传修改后的模板文件
88+
:::tip
7089
导入后,SQLE平台将校验字段是否填写有误:
7190
* 如导入文件没有问题,将在文件下方提示文件校验成功;
7291
* 如导入文件有问题,将在文件下方提示文件校验失败,并自动下载标注了校验问题的文件,用户可以直接在文件中结合报错信息进行修改。
73-
74-
##### 批量测试数据源连通性
75-
点击按钮后,平台将使用文件中的连接信息进行连通性测试:
76-
* 如根据文件中的数据源连接信息均能连通,将在按钮下方提示连接成功;
77-
* 如根据文件中的数据源连接信息存在连接不成功的,将在按钮下方提示连接不成功的数据源名称。
78-
79-
##### 点击导入
80-
平台将按照文件中的数据源信息进行批量添加。
92+
:::
8193

8294

83-
#### 执行结果
84-
数据源添加成功后,可在数据源列表查看新增的数据源信息。
95+
## 管理功能
96+
### 编辑数据源
97+
* 可修改项:除数据源名称和类型外的所有信息
98+
* 生效时间:保存后立即生效
8599

86-
### 后续步骤
87-
* 创建审核规则:添加数据源后,可针对指定数据源创建适用的审核规则,请参见[审核规则模板管理](rule-template-manager.md)
88-
* 添加成员/成员组:添加数据源后,需要引入成员/成员组对数据源进行操作,请参见[成员/成员组管理](group_member.md)
100+
### 删除数据源
101+
* 前置检查:系统将检查是否存在未完成的工单
102+
* 删除限制:有未完成工单的数据源不可删除
103+
* 影响范围:删除后相关的配置和历史记录将保留
89104

90-
### 更多管理功能
91-
* 编辑数据源:点击数据源列表页面对应数据源条目后的`编辑`按钮,可以修改指定数据源。
92-
* 限制:数据源名称及数据库类型不支持修改,其他信息均可修改
93-
* 删除数据源:点击数据源列表页面对应数据源条目后的`删除`按钮,可以删除指定数据源。
94-
* 限制:若数据源上还有相应工单未完成,则该数据源暂时不可删除
95-
* 连通性测试:点击`更多`按钮,选择连通性测试,测试是否可以用当前的数据源地址及用户密码成功连入数据源。
105+
### 连通性测试
106+
* 测试内容:验证连接信息的正确性
107+
* 执行时机:
108+
* 添加数据源时测试连通性/添加数据源后,验证数据源连接效果
96109

110+
## 最佳实践
111+
### 安全配置
112+
* 使用最小权限账号
113+
* 定期更新连接密码
114+
* 及时删除未使用的数据源
97115

116+
### 运维建议
117+
* 配置合理的运维时间窗口
118+
* 定期验证连通性
119+
* 及时更新审核规则模板

docs/user-manual/project/quick_audit.md

Lines changed: 51 additions & 14 deletions
Original file line numberDiff line numberDiff line change
@@ -6,7 +6,12 @@ title: SQL审核
66
本文介绍平台的SQL审核功能,该功能可以帮助用户快速审核SQL并了解优化建议。
77

88
## 使用场景
9-
当用户需要快速审核SQL并了解可优化点时,可以使用平台的SQL审核功能,快速获取审核结果。相较于SQL工单,SQL审核更注重用户快速自检,其目的是获取审核结果。而SQL工单除了获取平台的审核结果外,更侧重SQL的标准化上线。
9+
10+
1. 开发场景:开发人员在提交SQL变更前进行自检,及早发现潜在问题
11+
2. 运维场景:DBA批量审核大量SQL语句,确保符合规范
12+
3. 变更管理:运维人员在变更窗口前检查SQL语句的合规性和性能
13+
14+
相较于SQL工单,SQL审核更注重用户快速自检,其目的是获取审核结果。而SQL工单除了获取平台的审核结果外,更侧重SQL的标准化上线。
1015

1116
## 前置条件
1217

@@ -16,26 +21,56 @@ title: SQL审核
1621

1722
用户点击左侧菜单栏的SQL审核标签,进入SQL审核列表页面,点击'新建'按钮。
1823

19-
### 输入审核标签
24+
### 配置审核标签
2025

21-
* 用户可以使用标签来区分SQL的性质、来源等特性;
22-
* 平台默认提供两种标签,用户可根据需要新建标签;
26+
标签用于对SQL进行分类管理:
27+
* 系统预置标签:
28+
* 全量
29+
* 增量
30+
* 可根据需要自定义新标签,建议按业务线或变更类型划分
2331

2432
### 选择审核模式
2533

26-
平台默认提供两种审核模式
27-
* 静态审核:脱库审核,无需选择数据源和数据库,但需要选择SQL对应的数据源类型。
28-
* 动态审核:连库审核,需要指定数据源、数据库;
34+
1. 离线审核
35+
* 特点:无需连接数据库,基于SQL语法进行审核
36+
* 适用场景:快速语法检查、规范性审核
37+
* 配置项:选择数据源类型和审核规则模板
38+
39+
2. 在线审核
40+
* 特点:连接实际数据库,可进行更深入的审核
41+
* 适用场景:性能分析、执行计划优化
42+
* 配置项:选择具体数据源和数据库,默认使用数据源上的审核规则模板
43+
* 注意:需要数据库访问权限
2944

30-
### 输入待审核SQL
45+
### 输入SQL语句
3146

3247
平台当前提供5种审核方式,以满足不同的SQL场景。
3348

34-
* 在线输入:直接在界面上输入SQL。
35-
* 上传XML文件:上传包含SQL的XML文件。
36-
* 上传SQL文件:上传SQL文件进行审核。
37-
* 上传ZIP文件:上传包含多个SQL文件的ZIP文件进行审核。
38-
* 配置GIT仓库:从GIT仓库中获取SQL文件进行审核。
49+
1. 在线输入
50+
* 直接在界面编辑器中输入SQL
51+
* 支持语法高亮和格式化
52+
* 适合简单SQL审核
53+
54+
2. 上传XML文件
55+
* 支持标准XML格式
56+
* 最大文件大小:无限制
57+
* 适合Mybatis等框架的SQL审核
58+
59+
3. 上传SQL文件
60+
* 支持.sql格式文件
61+
* 最大文件大小:无限制
62+
* 适合单个SQL文件审核
63+
64+
4. 上传ZIP文件
65+
* 支持.zip格式
66+
* 最大文件大小:10MB
67+
* 适合批量SQL文件审核
68+
69+
5. 配置GIT仓库
70+
* 支持公开及私有仓库
71+
* 需配置正确的访问凭证
72+
* 适合与版本控制系统集成
73+
3974

4075
### 点击立即审核,获得审核结果
4176

@@ -47,4 +82,6 @@ title: SQL审核
4782
![quick-audit](img/quick-audit.png)
4883

4984
## 后续操作
50-
添加了标签的SQL审核记录将进入SQL管控列表页面,用户可以在[管控列表](user-manual/project/audit_task/sqlmanage.md)页面统一管理SQL。
85+
1.[SQL管控列表](user-manual/project/audit_task/sqlmanage.md)中查看添加了标签的审核记录
86+
2. 根据审核建议优化SQL
87+
3. 对于需要变更的SQL,可以创建SQL工单

docs/user-manual/project/workflow/create-workflow.md

Lines changed: 10 additions & 3 deletions
Original file line numberDiff line numberDiff line change
@@ -52,6 +52,11 @@ title: 创建工单
5252
:::note
5353
目前支持Oracle、PG、MySQL类型的数据源以文件模式上线。
5454
:::
55+
56+
#### 选择是否开启备份
57+
* 用户可以选择当前工单是否需要备份;
58+
* 开启备份后,用户需要填写回滚行数限制,当当预计影响行数超过指定值时将不再回滚。
59+
5560
#### 点击审核
5661
* 点击`审核`,显示平台审核结果;
5762

@@ -77,11 +82,13 @@ title: 创建工单
7782
* 数据源上SQL的整体审核通过率、审核结果评分及操作的数据库;
7883
* 数据源上每条SQL的审核结果,包括
7984
* SQL语句:查看原始SQL
80-
* SQL所属文件及所在行数:快速定位问题SQL;
8185
* 审核结果:查看SQL触发的规则及规则等级;
8286
* 点击SQL及审核结果栏,可以在右侧抽屉中查看完整信息;
83-
* 在GIT仓库审核及ZIP文件审核时,可以查看SQL具体的来源路径;
84-
* SQL分析:企业版用户支持查看SQL分析结果;
87+
* 备份回滚策略:当工单开启备份后,可以查看平台推荐的备份策略
88+
* 操作
89+
* SQL分析:企业版用户支持查看SQL分析结果;
90+
* 查看SQL所属文件及所在行数;
91+
* 将SQL添加为审核SQL例外
8592
* 功能区:
8693
* 下载审核报告:查看当前数据源下审核的sql语句及其审核结果;
8794
* 下载SQL语句:下载文件,可查看当前数据源下审核的SQL语句及其审核结果;

0 commit comments

Comments
 (0)