@@ -17,7 +17,8 @@ LLM 是智能体的“大脑”,其能力直接决定了智能体的智能水
1717
1818○本地化部署:即私有化部署,将 LLM 部署在企业内部服务器或私有云上,能够更好地控制数据安全和隐私,满足严格的合规要求。但本地化部署对硬件资源、运维能力和技术团队要求较高,成本也相对较高。企业应根据自身数据敏感度、合规要求和技术实力进行权衡。
1919
20- - ** 模型评估与迭代** :LLM 的能力并非一成不变,需要持续进行评估和优化。企业应建立完善的模型评估体系,包括准确性、召回率、流畅度、安全性等指标,并根据业务反馈进行持续迭代和模型升级。
20+ - ** 模型评估与迭代** :
21+ LLM 的能力并非一成不变,需要持续进行评估和优化。企业应建立完善的模型评估体系,包括准确性、召回率、流畅度、安全性等指标,并根据业务反馈进行持续迭代和模型升级。
2122
2223## 10.2.检索增强生成(RAG)
2324
@@ -36,18 +37,21 @@ RAG (Retrieval-Augmented Generation)技术是提升智能体知识准确性
3637## 10.4.智能问数(Chat to BI)
3738
3839智能问数是企业智能体在数据分析和洞察领域的核心能力。它旨在利用 LLM 强大的自然语言理解能力,将用户提出的自然语言问题转化为可执行的数据查询语言(如 SQL、NoSQL查询或 API 调用),并最终将查询结果以人类易于理解的方式(如文本、图表)返回。在企业智能体建设中,智能问数工具是实现这一能力的关键实践之一。
40+
3941以下我们以 SQLBot 为例介绍下智能问数的技术实现原理。SQLBot 是一个专注于将自然语言转化为数据库结构化查询语言的智能问答系统(基于 LLM 的 Text-to-SQL 或 Text-to-Data)。它通过以下关键机制实现智能问数:
4042
41- 1.Schema 理解与映射: LLM 首先学习并理解企业数据库的结构(Schema),包括数据表名、数据字段名、数据类型、字段的业务含义以及数据之间的关系。这是 LLM 将自然语言生成准确 SQL 的基础。
43+ #### 1.Schema 理解与映射:
44+ LLM 首先学习并理解企业数据库的结构(Schema),包括数据表名、数据字段名、数据类型、字段的业务含义以及数据之间的关系。这是 LLM 将自然语言生成准确 SQL 的基础。
4245
43- 2.自然语言到 SQL 的转换(Text-to-SQL): 这是核心技术。LLM 被用于分析用户的自然语言问题,结合预先理解的数据库 Schema,推理出正确的、可执行的查询 SQL 语句。这一过程通常涉及复杂的提示词工程(Prompt Engineering)、少样本学习(Few-shot Learning)和领域知识的注入。
46+ #### 2.自然语言到 SQL 的转换(Text-to-SQL):
47+ 这是核心技术。LLM 被用于分析用户的自然语言问题,结合预先理解的数据库 Schema,推理出正确的、可执行的查询 SQL 语句。这一过程通常涉及复杂的提示词工程(Prompt Engineering)、少样本学习(Few-shot Learning)和领域知识的注入。
4448
45- 3.查询执行与结果解析:
49+ #### 3.查询执行与结果解析:
4650- ** 首先** 智能体通过调用工具执行 LLM 生成的 SQL 语句,从数据库中获取原始数据。
4751- ** 其次** LLM 或专门的解析模块对查询结果进行二次处理,包括数据聚合、格式化,并结合用户的原始问题,将数据洞察以自然语言或可视化图表的形式清晰地呈现给用户,而非仅仅返回冰冷的表格数据。
4852- ** 最后** SQLBot 具备严谨的安全与权限控制体系, SQLBot 具备完整权限管理体系,可以确保智能体在生成和执行 SQL 时,不会访问或暴露用户无权限查看的敏感数据,防止数据泄露或越权操作。
4953
50- 4.其它关键技术
54+ #### 4.其它关键技术
5155
5256- ** 领域知识增强** :利用 RAG 技术,注入企业特有的业务术语、数据指标定义和数据查询规范,以提高 Text-to-SQL 的准确性。
5357- ** 复杂查询处理** :能够处理涉及多表联接(Join)、复杂聚合函数(Aggregate)、条件过滤(Where)、分组(Group By)等复杂逻辑的自然语言查询。
@@ -74,8 +78,8 @@ RAG (Retrieval-Augmented Generation)技术是提升智能体知识准确性
7478表格 2 :人在回路的关键应用场景与机制
7579| 机制类别 | 关键应用场景 | 机制描述 | 技术实现要点 |
7680| ------------| ----------| ----------------| ------------|
77- | 高风险操作确认| 涉及敏感数据修改、财务交易、核心系统配置变更等不可逆或高成本操作。| 智能体在生成或确定执行高风险动作(如调用删除数据的API 、发送关键邮件)前,暂停执行,并向人类专家发出通知和待执行的动作清单。只有在收到人类专家的明确指令或审批后,智能体才能继续执行。 | 智能体状态管理: 需具备任务挂起、通知触发、超时处理和恢复执行能力。集成审批流: 与企业内部的工单系统或审批流程(如OA系统 )集成。 |
78- | 模糊或低置信度任务| LLM对用户意图或任务分解的置信度低于预设阈值 ;生成的内容涉及复杂的专业判断、伦理道德或法律合规性。 | ** 结果校验与干预** : 智能体将自身生成的中间结果或最终答案,提交给人类专家进行** 事实核查、专业审查或风格修正** 。这有助于减少“幻觉”和潜在的合规风险。 | 置信度评估模块: 结合LLM的输出概率、领域知识匹配度等指标,评估任务执行的风险等级。 |
81+ | 高风险操作确认| 涉及敏感数据修改、财务交易、核心系统配置变更等不可逆或高成本操作。| 智能体在生成或确定执行高风险动作(如调用删除数据的 API 、发送关键邮件)前,暂停执行,并向人类专家发出通知和待执行的动作清单。只有在收到人类专家的明确指令或审批后,智能体才能继续执行。 | 智能体状态管理: 需具备任务挂起、通知触发、超时处理和恢复执行能力。集成审批流: 与企业内部的工单系统或审批流程(如 OA 系统 )集成。 |
82+ | 模糊或低置信度任务| LLM 对用户意图或任务分解的置信度低于预设阈值 ;生成的内容涉及复杂的专业判断、伦理道德或法律合规性。 | ** 结果校验与干预** : 智能体将自身生成的中间结果或最终答案,提交给人类专家进行** 事实核查、专业审查或风格修正** 。这有助于减少“幻觉”和潜在的合规风险。 | 置信度评估模块: 结合LLM的输出概率、领域知识匹配度等指标,评估任务执行的风险等级。 |
7983
8084
8185人在回路的价值
@@ -88,12 +92,12 @@ RAG (Retrieval-Augmented Generation)技术是提升智能体知识准确性
8892表格 3 :核心安全风险与管控措施
8993| 风险类别 | 风险描述 | 管控措施 |
9094| ----------| ----------| ----------------|
91- | 模型内容安全| 幻觉(Hallucination): LLM生成虚假、不准确或带有偏见的内容,影响结果和决策。| ** RAG技术增强 ** : 强制LLM优先引用可信的外部知识库信息。** 内容过滤** : 在输出层进行二次校验和敏感词过滤。** 事实核查** : 引入可信数据源进行事实比对。 |
95+ | 模型内容安全| 幻觉(Hallucination): LLM生成虚假、不准确或带有偏见的内容,影响结果和决策。| ** RAG 技术增强 ** : 强制LLM优先引用可信的外部知识库信息。** 内容过滤** : 在输出层进行二次校验和敏感词过滤。** 事实核查** : 引入可信数据源进行事实比对。 |
9296| 模型内容安全| 提示词注入攻击 (Prompt Injection): 恶意用户通过巧妙构造的输入,绕过系统预设的指令,迫使智能体执行非预期行为或泄露系统信息。| ** 系统提示词隔离** : 严格分离系统指令与用户输入。** 输入校验与过滤** : 对用户输入进行安全检查,识别并中和攻击性提示。** 特权限制** : 限制智能体在无特殊认证下的操作权限。|
9397| 数据安全与隐私| 训练数据泄露: LLM 在训练或微调过程中,记忆并泄露敏感的内部数据。| ** 数据脱敏/匿名化** : 对训练和微调数据进行严格的隐私处理。** 差分隐私技术** : 在模型训练中引入噪声,防止个体数据被模型“记住”。** 本地化部署** : 将 LLM 部署在私有环境中,严格控制数据流出。|
9498| 数据安全与隐私| LLM对用户意图或任务分解的置信度低于预设阈值;生成的内容涉及复杂的专业判断、伦理道德或法律合规性。 | ** 权限最小化原则** : 智能体及工具的访问权限应仅限于完成任务所需。** 数据护栏 (Data Guardrails)** : 建立严格的数据访问和输出安全策略,实时监控和阻断对敏感数据的非授权访问和输出。|
95- | 工具调用安全| 敏感数据访问与泄露: 智能体通过 RAG 或工具调用,非法访问或在输出中暴露敏感信息。| ** 工具白名单与验证** : 仅允许调用经过安全审计和白名单认证的工具。** 操作确认机制** : 对于涉及修改或删除等高风险操作,引入人在回路 (Human-on-the-loop) 机制进行二次确认。** API参数校验 ** : 严格限制和校验传递给工具的参数。|
96- | 合规性与可解释性| 智能体的决策过程不透明,难以满足行业监管的合规性要求。| ** 可解释性 (XAI) 机制** : 记录LLM的推理路径(如思考链Chain -of-Thought、工具调用记录),确保决策过程可追溯、可审计。** 日志审计** : 记录所有关键交互、工具调用和数据访问行为。|
99+ | 工具调用安全| 敏感数据访问与泄露: 智能体通过 RAG 或工具调用,非法访问或在输出中暴露敏感信息。| ** 工具白名单与验证** : 仅允许调用经过安全审计和白名单认证的工具。** 操作确认机制** : 对于涉及修改或删除等高风险操作,引入人在回路 (Human-on-the-loop) 机制进行二次确认。** API 参数校验 ** : 严格限制和校验传递给工具的参数。|
100+ | 合规性与可解释性| 智能体的决策过程不透明,难以满足行业监管的合规性要求。| ** 可解释性 (XAI) 机制** : 记录 LLM 的推理路径(如思考链 Chain -of-Thought、工具调用记录),确保决策过程可追溯、可审计。** 日志审计** : 记录所有关键交互、工具调用和数据访问行为。|
97101
98102总之,企业需要建立持续的风险监测和应急响应机制,对智能体进行定期的安全评估和渗透测试,以应对不断变化的安全威胁。
99103
0 commit comments