arXiv-2024/10-Beyond-RAG: Question Identification and Answer Generation in Real-Time Conversations

[BrambleXu]

Summary:

在客户服务中心，人工客服常因手动解读客户查询和检索相关知识库文章而面临长时间处理问题（AHT）。尽管行业中广泛采用基于检索增强生成（RAG）的大型语言模型（LLM）来辅助此类任务，但RAG在实时对话中存在查询形式不准确和常见问题重复检索等挑战。为了解决这些问题，本文提出了一种决策支持系统，能够实时识别客户问题。如果查询匹配常见问题（FAQ），系统直接从FAQ数据库中检索答案；否则，通过RAG生成答案。该系统在Minerva CQ的AI驱动人机辅助解决方案中部署，显著提高了效率，降低了AHT和运营成本。

Resource:

• pdf
• [code](
• [paper-with-code](

Paper information:

• Author:
• Dataset:
• keywords:

Notes:

背景：
在现代客户服务中心，人工客服面临着长时间处理客户查询的问题，这直接影响到客户满意度和运营成本。传统上，客服代理需要手动解读客户的询问，并在庞大的知识库中寻找相关的文章，这个过程往往耗时且效率低下。尽管基于检索增强生成（RAG）的大型语言模型（LLM）已经被广泛应用于此类任务，但在实时对话中，RAG系统仍然存在查询形式不准确和重复检索常见问题的挑战。

目的：
本文旨在提出一种新的决策支持系统，通过实时识别客户问题并优化回答生成过程，以提高客服代理的工作效率，降低平均处理时间（AHT）和运营成本。该系统结合了FAQ数据库和RAG模型，旨在减少人工查询的依赖，并提供更快速、更准确的响应。

结论：
通过在Minerva CQ的AI驱动人机辅助解决方案中部署该系统，研究表明该系统显著提高了工作效率，减少了AHT，并降低了运营成本。系统的实施不仅改善了客服代理的工作体验，还提升了客户服务质量。

文章的创新点：

1. 增强的决策支持系统：开发了一种实时系统，能够准确识别问题并高效生成答案，从而支持客服代理在对话中快速响应。
2. FAQ与RAG的集成：提出了一种机制，能够从预先存在的FAQ数据库中检索常见问题的答案，并对非FAQ问题使用RAG生成答案，提升了响应速度和准确性。
3. 自动化的FAQ识别工作流程：引入了一种基于LLM的工作流程，从历史记录中提取FAQ，确保FAQ数据库的全面性和时效性，减少了人工干预的需求。

这些创新点为客户服务行业提供了新的解决方案，推动了人工智能在实时对话中的应用和发展。

---

在本文中，所使用的数据集主要来源于客户服务中心的历史通话记录。这些通话记录包含了客服代理与客户之间的逐轮交互，旨在分析客户的意图和常见问题。具体而言，数据集的特点包括：

1. 通话数量：数据集包含大约30,000个通话记录，这为模型提供了丰富的训练和测试材料。

2. 内容类型：通话记录包括客户提出的问题、客服代理的回答以及相关的上下文信息。这些信息有助于理解客户的需求和常见的查询模式。

3. 数据清洗和过滤：在处理这些通话记录时，首先会对数据进行清洗，去除与问候、个人信息（如电子邮件地址、认证信息等）和其他非相关内容的对话。这一过程由多个LLM代理执行，以确保最终生成的FAQ问题与客户的真实需求相关。

4. 问题聚类：为了提取常见问题，使用了k-means聚类算法对客户提出的问题进行分组。通过生成嵌入并调整聚类数量，最终形成代表性问题，便于后续的FAQ生成和检索。

5. 样本大小：在生成FAQ的过程中，至少需要500个通话记录来确保有足够的数据支持FAQ的提取和生成。这一要求确保了数据集的多样性和代表性。

总的来说，该数据集为本文提出的决策支持系统提供了基础，通过分析历史通话记录，系统能够识别和生成相关的FAQ，进而提高客服代理的工作效率和响应质量。

Model Graph:

Result:：

背景

在当今快速发展的客户服务行业，客服代理面临着长时间处理客户查询的问题，这直接影响到客户满意度和运营成本。传统的客户服务流程通常依赖于人工解读客户询问并在庞大的知识库中检索相关信息，这种方式不仅耗时，而且效率低下。尽管近年来基于检索增强生成（RAG）的大型语言模型（LLM）被广泛应用于提升客服效率，但在实时对话中，RAG系统仍面临查询不准确和重复检索常见问题的挑战。

课题

本文的课题是如何优化客户服务中心的决策支持系统，以提高客服代理在实时对话中的工作效率，降低平均处理时间（AHT），并提升客户服务质量。具体目标包括自动识别客户问题、快速生成答案，并减少人工查询的依赖。

提案手法

为了实现上述目标，本文提出了一种创新的决策支持系统，主要包括以下几个方面：

1. 实时问题识别：系统能够自动识别客户问题的意图，并根据对话上下文提供相关问题的建议。
2. FAQ与RAG的集成：如果识别的问题匹配FAQ，系统直接从FAQ数据库中检索答案；否则，使用RAG模型生成答案。
3. 自动化FAQ生成：通过分析历史通话记录，系统能够自动生成FAQ，确保数据库的时效性和全面性。

创新点

1. 增强的决策支持系统：开发了一种实时系统，能够高效识别问题并生成答案，支持客服代理在对话中快速响应。
2. FAQ与RAG的结合：提出了一种机制，能够在常见问题的情况下优先使用FAQ数据库，从而提高响应速度和准确性。
3. 自动化的FAQ识别工作流程：引入基于LLM的工作流程，从历史记录中提取FAQ，减少人工干预，确保FAQ数据库的全面性。

数据集

本文使用的数据集来源于客户服务中心的历史通话记录，包含约30,000个通话。这些记录包括客户提出的问题、客服的回答及相关上下文信息。数据集经过清洗和过滤，去除无关内容，并通过k-means聚类提取出常见问题，为FAQ生成提供支持。

实验结果解析

在系统实施后，研究发现：

• RAG响应质量提升：通过结构化查询，RAG模型返回的答案更加相关和准确。
• FAQ生成有效性：自动生成的FAQ经过验证，显示出良好的质量和相关性，得到了客服代理的认可。
• 响应速度提高：系统能够在2秒内提供答案，显著减少了客服代理的查询时间。

结论

本文提出的决策支持系统通过优化实时问题识别和回答生成的过程，有效提升了客服代理的工作效率，降低了平均处理时间（AHT），并减少了运营成本。通过在Minerva CQ的AI驱动人机辅助解决方案中部署，该系统展示了显著的潜力，能够改善客户服务质量。未来的研究将集中在进一步提高系统的复杂上下文管理能力和跨行业的可扩展性，推动实时问题识别和答案生成的创新。

Thoughts:

Next Reading: