集合通信原理主要介绍在 AI 集群或者大模型训练、推理的过程中,使用到的通信原理涉及相关知识,如什么是通信域、通信算法、集合通信原语的类型,除了集合通信的基本原理,还会介绍 AI 集群通信过程中相关的硬件介质,如片内互联、片外互联或者叫带内带外互联的方式方法。
PPT和字幕需要到 Github 下载,网页课程版链接会失效哦~建议优先下载 PDF 版本,PPT 版本会因为字体缺失等原因导致版本很丑哦~
| 大纲 | 小节 | 链接 |
|---|---|---|
| 集合通信原理 | 01 大模型集合通信介绍 | PPT, 视频 |
| 集合通信原理 | 02 为什么需要集合通信 | PPT, 视频 |
| 集合通信原理 | 03 集合通信操作/原语/算子 | PPT, 视频 |
| 集合通信原理 | 04 AI 对集合通信算法诉求 | PPT, 视频 |
| 集合通信原理 | 05 大模型集合通信算法细节 | PPT, 视频 |
| 集合通信原理 | 06 通信域与 PyTorch 实现 | PPT, 视频 |
| 集合通信原理 | 07 AI 芯片内互联技术 | PPT, 视频 |
| 集合通信原理 | 08 大模型集群互联技术 | PPT, 视频 |
文字课程内容正在一节节补充更新,每晚会抽空继续更新正在 AI Infra ,希望您多多鼓励和参与进来!!!