Releases: alibaba/Pai-Megatron-Patch
v0.12.3
v0.12.2
--支持Qwen3-next使用Mcore进行继续预训练。
--支持Qwen3,Moonlight和DeepSeek-R1模型通过Megatron-Patch使用Mcore+Verl进行强化学习GRPO训练。
--支持Qwen2.5-VL使用Chatlearn进行强化学习。
--优化Qwen2.5-VL多模态大模型训练链路。
--修复已知的issues。
v0.12.1
--支持使用Mcore+ChatLearn进行强化学习GSPO训练。
--支持使用Mcore+ChatLearn进行强化学习Context Parallel上下文并行训练。
--优化Qwen2.5-VL多模态大模型训练链路。
--优化分布式模型权重转换链路。
--修复已知的issues。
v0.12.0
--支持DeepSeek-V3-671B模型使用Mcore+ChatLearn进行强化学习GRPO训练。
--支持Qwen3-235B模型使用Mcore+ChatLearn进行强化学习GRPO训练的效果。
--优化Qwen2.5-VL多模态大模型训练链路。
--修复已知的issues。
v0.11.3
--支持Moonlight MoE模型使用Mcore+ChatLearn进行强化学习GRPO训练。
--优化Qwen3 MoE模型使用Mcore+ChatLearn进行强化学习GRPO训练的效果。
--DSW调试模式支持自适应卡数感知。
--修复已知的issues。
v0.11.2
--支持Qwen2.5模型使用Mcore+ChatLearn进行强化学习GRPO训练
--修复已知的issues。
v0.11.1
--支持Qwen3所有版本模型的最佳实践
--持续优化DeepSeek-V3/Qwen2.5 VL等最佳实践。
--实现用于超大参数量模型的MG/HF权重分布式转换。
--修复已知的issues。
v0.11.0
--优化DeepSeek-V3最佳实践。
--升级qwen2-moe最佳实践。
--新增QwQ/Qwen2.5-VL/Moonlight。
--修复已知的issues。
v0.10.3
--接入DeepSeek-V3并为其开发最佳实践。
--升级SFT微调流程,所有模型统一接口基于Template的微调逻辑。
--修复已知的issues。
v0.10.2
--升级DeepSeek-V2-MoE模型最佳实践为接入DeepSeek-V3-MoE的工程加速过渡。
--拓展Qwen2-VL模型以支持序列并行、虚拟流水并行及TP-Comm-Overlap特性。
--修复已知的issues。