LLM-notes

计划开始系统学习 LLM 相关的内容，但找了一下网上开源或者付费的资料，都很零散，所以计划开一个新的开源项目，系统性整理一下 LLM 应用开发的自学路线和资料汇总。

如果有 LLM 应用开发相关经历的朋友，可以私聊我，一起交流下，也欢迎 star，请你喝咖啡～感谢。

从传统后端开发转向大模型应用，我理解许多人会面临“跨行业学习”的心理门槛。回顾我从机械跨考计算机，再到跨行业跳槽的经历，我发现只要突破心理上的障碍，主动拥抱变化，后续的难题都能一步步解决。只要喜欢，那就去做，过程是痛苦的，结局一定是好的。

关于路线部分，目前大致整理了下面的大纲（持续调整中）。行文上我会力求简练，复杂概念尽量用通俗易懂的方式表达，降低学习曲线。

开始挖坑，冲！

一、RAG 知识架构

1. RAG入门 / 体会

• RAG是什么？为什么要RAG：理解基本概念与价值。

• RAG开发环境：搭建所需的开发环境。

• 实战：写一个简单的RAG：通过实践快速上手。

2. 向量数据库

• 为什么RAG要使用向量数据库：了解其必要性。

• 向量数据库的特点/好处：掌握其核心优势。

• 常见的向量数据库：认识主流工具与平台。

3. RAG的具体过程和策略

• 概念

• 理解RAG涉及哪些过程：从宏观上把握核心步骤。

• 自然语言转嵌入向量：将查询和文本转化为向量的过程。

• 分块

• 分块策略：掌握文本分割的方法与技巧。

• 文本召回

• 文本召回基础：理解召回的基本原理。

• 稠密向量 / 稀疏向量：了解两种主要的向量表示方法。

• 效果评估：评估RAG系统性能的指标与方法。

• 实战：复杂RAG例子：通过一个综合案例深化理解。

二、Agent 知识架构

1. Python 基础

• 学习：快速入门 Python 实战教程

2. Agent 入门 / 了解 Agent

• Agent 特点

• LLM 如何调用

• 实战：快速跑通一个 Agent

3. MCP 协议 / Function Call

• MCP 协议是什么 / 特点 / 两种通信模式

• 实战：感受 / 体会 MCP

• Function Call 的特点

• 实战：Agent 调用 Function Call

4. Agent 框架

• 框架了解

• LangChain

• LangGraph

• LangSmith

• 其他平台/框架

• 扣子

• Dify

5. Agent 评估方法

6. Agent 设计范式

7. 实战：复杂的 Agent 例子

三、提示词工程

1. 设计提示词的原则

• 明确性、具体性、提供上下文、设定角色等。

2. 常见的提示词策略

• 零样本提示、少样本提示、思维链、指令模板等。

四、 模型基础

1. 深度学习/机器学习基础

• 神经网络基本原理、训练与优化等。

2. Transformer 基础

• 生成式/自回归模型：GPT 等模型的原理。

• 词嵌入：将文本转换为向量的技术。

• 编码器/解码器：Transformer 的核心架构。

• 注意力机制：模型理解上下文的关键。

3. 不同模型对比

• 不同模型特点：对比各类大模型（如 GPT、Claude、LLaMA 等）的优劣势。

• 模型选型：根据任务需求选择合适模型的考量。

• 不同模型架构：了解自回归、编码-解码等不同架构。

4. 模型训练流程

• 预训练 / SFT：模型训练的前两个主要阶段。

• 强化学习 / 推理：高级优化阶段与模型应用。

五、 SFT / RL (监督微调与强化学习)

1. 常见微调策略

• 全量 / 部分参数微调

• LoRA

• Adapter Tuning

• P-Tuning

2. 强化学习

• 概念：基本定义与原理。

• 方法：常用技术（如PPO、DPO等）。

3. 实战：DPO / LoRA

• 怎么选型

• 数据集准备

• 用什么平台 / 怎么做的

• 如何评估和部署

六、 前沿知识能力

1. 最新论文：跟踪与研究领域前沿学术成果。

2. Claude Genimi3：了解特定前沿模型（注：原图如此，可能指Claude、Gemini等模型）。

七、 量化 / 推理

1. 常见的推理框架：了解部署和运行模型的工具（如vLLM、TGI等）。

2. 模型压缩策略

• 量化：降低模型数值精度以减少计算和存储开销。

• 剪枝

• 蒸馏

3. 实战

• 量化：具体的量化实践操作。

八、 设计项目实战

1. 技术点：项目所涉及的核心技术。

2. 深度：对技术应用的深入程度。

3. 价值：项目的实际意义与应用价值。