hands-on-llm

[hscspring]

你是否已经阅读并同意《Datawhale开源项目指南》？

• 我已阅读并同意《Datawhale开源项目指南》

你是否已经阅读并同意《Datawhale开源项目行为准则》？

• 我已阅读并同意《Datawhale开源项目行为准则》

项目简介

动手实践大语言模型，HuggingLLM的进阶版。

立项理由

1. 帮助需要LLM相关经验的人提供项目经验。
2. 弥补组织在LLM专业方向（非小白）上的空缺。

项目受众

1. 学习了HuggingLLM后有进一步需求，需要进一步深入探索和应用LLM的用户。
2. 需要LLM相关项目经验的同学或行业内外从业人员。

项目亮点

1. LLM从原理到实践全覆盖。
2. LLM从训练到部署全流程。
3. 多位一线从业人员经验汇总。

项目规划

1.目录（如有多级至少精确到二级）

• 文档表示
  • 不同表示方法及效果
  • 损失函数
  • 训练流程
• GPT-Based结构
  • Attention相关原理
  • 统一Mask视角
  • In-Context和Instruct Tuning
• 常见大模型架构
  • ChatGLM
  • LLaMA
  • RWKV
• 全量微调
  • 全量微调原理
  • 词表扩充
  • 评测
• 高效微调
  • 常见方法原理
  • 微调实战
  • 参数合并
• 生成策略
  • 贪心、集束
  • 采样
  • 惩罚
  • 安全
• 开发部署
  • 向量检索
  • TritonServer
  • FasterTransformer

2.各章节负责人

第一章：芙蕖
第二章：超逸
第三章：王翔/安东
第四章：张帆/十一
第五章：玲玲/张晋
第六章：长琴
第七章：长琴

3.各章节预估完成日期

初稿已完成，有录制内测视频。可重新开启内测并录制视频。

4.可预见的困难

年底负责人时间安排

项目负责人

GitHub: https://github.com/hscspring
Wechat: HSC_spring

备注：发起立项申请后DOPMC成员将会在7天内给出审核意见，若7天内无反对意见则默认立项通过~

• 我已知悉上述备注

[Sm1les]

已有项目补充立项