| 模型 | 下载链接 | 序列 | 实现 | 集群 | 是否支持 |
|---|---|---|---|---|---|
| GLM4.5 | 106B | 4K | Mcore | 8x16 | ✅ |
MindSpeed-LLM MindSpore后端的安装步骤参考MindSpeed LLM安装指导。
预训练使用方法如下
cd MindSpeed-LLM
bash examples/mindspore/glm45-moe/pretrain_glm45_moe_106b_4k_A3_ms.sh用户需要根据实际情况修改脚本中的以下变量
| 变量名 | 含义 |
|---|---|
| MASTER_ADDR | 多机情况下主节点IP |
| NODE_RANK | 多机下，各机对应节点序号 |
| CKPT_SAVE_DIR | 训练中权重保存路径 |
| DATA_PATH | 数据预处理后的数据路径 |
| TOKENIZER_PATH | GLM4.5 tokenizer目录 |
| CKPT_LOAD_DIR | 权重转换保存的权重路径，用于初始权重加载，如无初始权重则随机初始化 |