第1节课笔记(7班)

[JimmyMa99]

第一节课笔记（7班）👇

[abelezm]

第一课笔记：
题目:《书生.浦语大模型全链路开源体系》
授课老师：陈恺
主要内容：
1、结合书生.浦语大模型，讲解大模型产生背景、发展历程、框架体系。
2、书生.浦语大模型的应用场景、开发部署路线图、浦语生态、产品评测、方案差异。
3、书生.浦语大模型部署的架构：模型支持量化、triton inference server,gradio。
4、大模型驱动智能体：搭建不同模块的智能体框架，以大模型为核心，执行不同的动作。
5、Lagent：智能体的开发框架；AgentLego：具体的产品集合。
6、希望：多介绍一些AgentLego的具体应用，以及语音转文字、文字添加标点符号方面的扩展应用。
https://blog.csdn.net/weixin_38043453/article/details/135400365

[songqiang321]

第一讲笔记链接：
https://www.xiaohongshu.com/explore/6596449f000000001d036fd7

[createup2023]

第一节课程笔记连接（语雀）：
https://www.yuque.com/creatup/ynrsde/wg2936c8dxqe9por?singleDoc# 《大模型学习：第一节课》
补充CSDN笔记：https://blog.csdn.net/weixin_48339493/article/details/135756244

[thefengl]

书生.浦语大模型全链路开源体系

授课老师

陈恺

开源体系

• 数据

  书生万卷 2TB数据，覆盖多种模态与任务

• 预训练

  InternLM-Train 并行训练，极致优化，速度达到3600tokens/sec/gpu

• 微调

  XTuner 支持全参数微调、支持LoRA等低成本微调

• 部署

  LMDeploy 全链路部署，性能领先，每秒生成2000+tokens

• 评测

  OpenCompass 全方位评测、性能可复现80套评测集，40万道题目

• 应用

  Lagent AgentLego 支持多种智能体，支持代码解释器等多种工具

增量续训

使用场景：让基座模型学习到一些新知识，如某个垂类领域知识训练数据：文章、书籍、代码等

有监督微调

使用场景：让模型学会理解和遵循各种指令，或者注入少量领域知识训练数据：高质量的对话、问答数据

大模型的局限性

• 最新信息和知识的获取
• 回复的可靠性
• 数学计算
• 工具使用和交互

[YangXuanyi]

第一节课笔记

背景介绍

2018年来，大模型取得快速发展，尤以2023年最为迅猛。相比较AI界之前研究的专业模型，大模型更注重解决通用问题，是人工智能发展的重要途径。

正式内容

为迎合时代发展，提出了书生.浦语大模型全链路开源体系
在模型上，目前书生 浦语大模型共有轻、中和重量级三类，分贝对应参数量7B、20B、123B。

此外，开源体系中还提供以下模块

1. 数据

   提供了书生万卷数据集，总量2T

2. 预训练

   良好的性能优化，开箱即用

3. 微调

   支持增量续训和有监督微调，最低只需8G显存就可以微调7B模型。

4. 评测

   设有OpenCompass开源评测平台，全面且客观

5. 部署

   提供模型轻量化、高效推理等服务

6. 应用

   轻量级智能体框架Lagent，简单易拓展，支持丰富的工具，适合快速开发基于大模型的智能工具

总结

《书生.浦语大模型全链路开源体系》打造了一个关于大模型的完整开源社区，从模型的开发到部署都有相应的工具，值得学习。

[leochiang]

结合业务工作对全流程的预训练和微调很感兴趣，希望后期深入了解。

[lifelinezhang]

大概介绍了课程大纲跟目前的一些大模型的基础知识。
主要是关于预训练、微调、评测、部署和应用的概念等介绍。
期待后续的具体讲解。

[hui1feng]

笔记记录于：https://github.com/hui1feng/internLMlearn/blob/main/README.md

[victory3398]

第一节课已听完，打卡

[SaaRaaS-1300]

第一节课打卡
同版本笔记 github：https://github.com/SaaRaaS-1300/InternLM_openNotebook/blob/main/Lesson-1/Lesson-1-Notebook.md
同版本笔记 和鲸社区：https://www.heywhale.com/mw/project/6596c843b96e5fc9ebcd9289

[PommesPeter]

第一节课笔记

博客链接：https://memo.sylin.host

书生·浦语大模型发展

从 2023 年 6 月 7 日发布，随着不断发展，对大模型包括但不限于数据、多模态、应用、智能体、参数量、开源工具栈等一系列角度来发展。

其中包含 7B，20B，123B 参数量的三种模型。不同大小的模型可以应用的角度也不相同。不同的参数量大小能够表示训练所用的数据、支持的上下文长度、模型能力等方面。

同时，书生浦语模型能够在各种能力上达到非常好的性能，特别针对中文进行了优化，是国内少有的能够支持高性能·1中文对话的模型。

大模型如何应用？

如果把大模型用到一些下游应用，我们要按如下角度来考虑：

1. 模型选型：选取符合自己任务的模型，对其进行测评。
2. 考虑业务场景是否复杂
3. 如果模型能够满足业务要求则需要看是否有足够的算力来微调
4. 同时根据现存算力决定是否全量微调或部分参数微调
5. 再者，如果大模型需要和环境进行交互，是否考虑构建智能体
6. 衡量模型的能力
7. 部署

书生·浦语全链条开源开放体系

大模型全流程全链条体系包括数据、预训练、微调、部署、评测、应用。

• 数据：书生万卷数据集（2TB）
• 预训练：InternLM-Train
• 微调：XTuner
• 部署：LMDeploy
• 评测：OpenCompass
• 应用：智能体 AgentLego、Lagent

数据

书生万卷数据集包含了大量文档数据、2200 多万图像文本数据、1000 多个视频数据。能够支持从语言模型到多模态模型的的训练。同时，也可以应用其数据预训练自己的大模型。

对于该数据集，其中进行了许多精细化的处理，包括语言筛选、文本提取、格式标准化、数据过滤和清洗、多尺度去重和数据质量评估。

预训练

训练框架兼容性强，能够支持 8 卡到千卡量级的训练，加速效率高。同时不需要接入主流 huggingface 生态。其中也对其进行了很多优化。

微调

能够支持大模型的增量续训和有监督微调。同时支持 LoRA 微调。其中的 XTuner 也能够适配现有的主流框架以及算法，能够直接对接现有生态。

评测

OpenCompass 能够从学科、语言、知识、理解、推理、安全几个维度来评测，使其更加客观。提供了许多测评的方法。

部署

内存开销大、缓存要求高、请求数不确定、设备要求、系统吞吐量、加速生成。部署挑战上来说模型并行、低比特优化、Attention 优化、计算访存优化、Batching

应用

能够直接调用动作，一站式的 Agent 设计和部署方案。

[jagaochao]

第一节课已经听完，对大模型的历史和发展有了比较清洗的认识，同时对书生·浦语大模型开源体系有了比较清晰的认识，特别是对书生·浦语大模型开源体系中整个大模型的构建过程有了比较通透的理解，顺便打卡。

[Rogue-Trader-zzy]

打卡：https://zhuanlan.zhihu.com/p/676290797

[snowhou]

第一课打卡：https://zhuanlan.zhihu.com/p/676302609

[anneeeee]

第一课笔记（千字力作）：https://mp.weixin.qq.com/s/nFMO1uZNKrCcOFzUmNDKOQ

[devin-coder]

第一课笔记https://blog.csdn.net/yunzhecui/article/details/135444916?csdn_share_tail=%7B%22type%22%3A%22blog%22%2C%22rType%22%3A%22article%22%2C%22rId%22%3A%22135444916%22%2C%22source%22%3A%22yunzhecui%22%7D

[VertexGeek]

https://blog.csdn.net/2301_77286822/article/details/135378429?spm=1001.2014.3001.5501

[Simon-lyz]

第一课笔记：https://g4w90egc30.feishu.cn/docx/IJLxd5TnyoQTwkxZ1tJcLajAnQe

[leochiang]

第一节课笔记 https://vvgyb242x83.feishu.cn/wiki/IXYow1rdoihKY6kRbdJcnRZUnPg?from=from_copylink

[codeview126]

《第一节课笔记》
1 背景
1.1 模型发展历程
1.2 书生·浦语大模型：主要讲解一下各个库的内容以及在全链路中扮演的角色，同时将深入浅出的讲解了一下大语言模型的演变以及书生浦语大模型开源历程的演变。作为国内前沿的大语言模型，书生浦语其实已经算了除ChatGLM以及Yi系列以外相对比较实用的中文开源大语言模型了，尤其是InternLM20B的开源让很多商业化的案例成为了可能。
InternLM的模型总共分为以下三个类别：

• InternLM-7B（小型）- 可以低成本微调，我们个人开发者可能用到的就是第一个7B的模型，然后利用这个7B的模型去实现一些工作
• IntermLM-20B（中型）- 是商业场景开发常会使用的模型
• InterLM-123B（大型）- 通用大语言模型
  ​1.3 大模型应用流程

2 书生·浦语大模型全链路开源开放体系
2.1 数据：书生·万卷 1.0（文本、图像-文本、视频）、​OpenDataLab​
2.2 预训练​：InternLM-Train
2.3 微调框架：Xtuner（增量续训及有监督微调）（全量参数微调及部分参数微调）、低成本QLoRA（8GB微调大模型）、
2.4 评测：OpenCompass ​从学科、语言、知识、理解、推理、安全各个方面都有一些评测的指标和内容。
2.5 部署：技术挑战与方案​、LMDeploy​
2.6 应用： 轻量级智能体框架Lagent​ & 应用示例​、 多模态智能体工具箱: AgentLego​

原文链接：
https://blog.csdn.net/codeview1/article/details/135855103

[Simon-lyz]

InternLM Lesson-1

https://g4w90egc30.feishu.cn/docx/IJLxd5TnyoQTwkxZ1tJcLajAnQe?from=from_copylink