第3节课笔记(7班)

[JimmyMa99]

第3节课笔记(7班)

[createup2023]

https://www.yuque.com/creatup/ynrsde/lgbgmy11rgu8xp27?singleDoc# 《第三节课》
补充CSDN笔记：https://blog.csdn.net/weixin_48339493/article/details/135756421

[victory3398]

第三节课打卡

[VertexGeek]

https://blog.csdn.net/2301_77286822/article/details/135502665?spm=1001.2014.3001.5501

[hui1feng]

第三节课笔记：https://github.com/hui1feng/InternLM-LangChain/blob/main/README.md

[PommesPeter]

第三节课笔记

博客链接：https://memo.sylin.host

动机

• 大模型无法获取动态更新的知识：2023 年训练的模型无法知道 2024 年发生的事情
• 专业能力有限（垂直领域）
• 定制化成本高：个人专属的 LLM 应用门槛高

解决思路

RAG

• 成本低，不需要重复微调大模型
• 实时更新数据库知识
• 对 Base Model 性能要求较高
• 单次回答知识有限，需要重复提问

流程可以表示为如下过程：

Finetune

• 可以进行非常自由的调整
• 给什么数据就学什么
• 但微调模型成本较高
• 无法实时更新大模型的知识

技术前置知识

LangChain

LangChain 框架是一个开源工具，通过为各种 LLM 提供通用接口来简化应用程序的开发流程，帮助开发者自由构建 LLM 应用。

LangChain 的核心组成模块：

链 (Chains) : 将组件组合实现端到端应用，通过一个对象封装实现一系列 LLM 操作。E.g. 检索问答链，覆盖实现了 RAG (检索增强生成) 的全部流程

搭建过程

1. 构建向量数据库
   • 确定文件类型，不同文件使用不同的加载器（格式文本转换为无格式文本）
   • 根据上下文上限对文档进行切分（按长度分割、手动控制分割快的长度和重叠区间长度——n-gram）
   • 将文档提取 word embedding 后存入数据库（Chroma，支持多种语义检索的向量数据库）
2. 搭建检索问答链
   • LangChain 提供了检索问答链模版，可以自动实现知识检索、Prompt 嵌入、LLM
     问答的全部流程
   • 将基于 InternLM 的自定义 LLM 和已构建的向量数据库接入到检索问答链的上游
   • 调用检索问答链，即可实现知识库助手的核心功能

RAG 问答优化：

基于RAG的问答系统性能核心受限于：

• 检索精度
• Prompt性能

一些可能的优化点：

• 检索方面
  • 基于语义进行分割，保证每一个chunk的语义完整
  • 给每一个chunk生成概括性索引，检索时匹配索引
• Prompt方面
  • 迭代优化Prompt策略

总结

• 通过 RAG 能够实现 LLM 的动态知识更新，但是要求对 LLM 的能力较高。同时也启发我们现在对于高性能开源 LLM 的探索仍是当下较为热门的话题。近期很多公司都在训练自己的 LLM 模型和混合专家模型，通过 MoE 让 LLM 能够根据不同的任务选择相应的专家来完成。
• LangChain 是一个能够快速将 LLM 部署落地的一个项目，未来可以给 LangChain 做一些开源贡献。

[YangXuanyi]

第三节课笔记：
https://www.yuque.com/elbert-rybf1/igvg0p/et3lucipavk2yt7v/edit
访问密码：inez

[lifelinezhang]

https://zhuanlan.zhihu.com/p/677352298

[SaaRaaS-1300]

第三节课，笔记同作业，github：https://github.com/SaaRaaS-1300/InternLM_openNotebook/blob/main/Lesson-3/Lesson-3-Notebook.md

[snowhou]

打卡 https://zhuanlan.zhihu.com/p/677550010?

[abelezm]

第三课：基于 InternLM 和 LangChain 搭建你的知识库
笔记同作业，https://blog.csdn.net/weixin_38043453/article/details/135575407
这节课相对简单，但是个别概念还是有点模糊，比如 prompt的原理是啥，比如怎么实现自然语言到数据库的查询，等等。

[thefengl]

LLM的局限性
知识时效性受限：如何让LLM能够获取最新的知识
专业能力有限：如何打造垂域大模型
定制化成本高：如何打造个人专属的LLM应用

Langchain框架是一个开源工具，通过为各种LLM提供通用接口来简化应用程序的开发流程，帮助开发者自由构建LLM应用。

Langchain的核心组成模块：
	链（Chains）：将组件结合端到端应用，通过一个对象封装实现一系列LLM操作
	Eg.检索问答链，覆盖实现了RAG（检索增强生成）的全部流程

构建向量数据库
加载源文件->文档分块->文档向量化

确定源文件类型，针对不同类型源文件选用不同的加载器
	核心在于将带格式文本转化为无格式字符串
由于单个文档往往超过模型上下文上限，我们需要对加载的文档进行切分
	一般按字符串长度进行分割
	可以手动控制分割块的长度和重叠区间长度
使用向量数据库来支持语义检索，需要将文档向量化存入向量数据库
	可以使用任意一种Embedding模型来进行向量化
	可以使用多种支持语义检索的向量数据库，一般使用轻量级的Chroma

将InternLM接入LangChain
LangChain支持自定义LLM，可以直接接入到框架中
我们只需将InternLM部署在本地，并封装一个自定义LLM类，调用本地InternLM即可

构建检索问答链
Langchain提供了检索问答链模板，可以自动实现知识检索、Prompt嵌入、LLM问答的全部流程
将基于InterLM的自定义LLM和已构建的向量数据库接入到检索问答链的上游
调用检索问答链，即可实现知识库助手的核心功能。

RAG方案优化建议：
基于RAG的问答系统性能核心受限于：
检索精度
Prompt性能

一些可能的优化点：
	检索方面：
		基于语义进行分割，保证每一个chunk的语义完整
		给每一个chunk生成概括性索引，检索时匹配索引
	Prompt方面：
                    迭代优化Prompt策略

[Rogue-Trader-zzy]

笔记同作业：https://zhuanlan.zhihu.com/p/677702698

[anneeeee]

https://mp.weixin.qq.com/s/mYp_6wVMD4sNYUt7sb8cAQ

[leochiang]

https://vvgyb242x83.feishu.cn/wiki/QwfFwXr2wiS8uEkApmkc9aienXd?from=from_copylink

[Simon-lyz]

InternLM Lesson-3 简单RAG

https://g4w90egc30.feishu.cn/docx/LbIydMCbYoF7YsxI8egcAIznnwe?from=from_copylink