Skip to content

Releases: alibaba/Pai-Megatron-Patch

v0.12.3

31 Oct 08:26
4f7ae50

Choose a tag to compare

--支持Qwen3-VL系列模型使用Mcore进行微调。
--支持Qwen3-Next-80B-A3B使用Chatlearn进行强化学习。
--通过上下文并行(Context Parallel)与序列打包(Sequence Packing)提升Moonlight/DeepSeek-V3等MLA模型的强化学习训练稳定性和效率。
--修复已知的issues。

v0.12.2

30 Sep 03:41
8e6cbb0

Choose a tag to compare

--支持Qwen3-next使用Mcore进行继续预训练。
--支持Qwen3,Moonlight和DeepSeek-R1模型通过Megatron-Patch使用Mcore+Verl进行强化学习GRPO训练。
--支持Qwen2.5-VL使用Chatlearn进行强化学习。
--优化Qwen2.5-VL多模态大模型训练链路。
--修复已知的issues。

v0.12.1

03 Sep 03:19
16d121f

Choose a tag to compare

--支持使用Mcore+ChatLearn进行强化学习GSPO训练。
--支持使用Mcore+ChatLearn进行强化学习Context Parallel上下文并行训练。
--优化Qwen2.5-VL多模态大模型训练链路。
--优化分布式模型权重转换链路。
--修复已知的issues。

v0.12.0

01 Aug 02:16
9f3b8e0

Choose a tag to compare

--支持DeepSeek-V3-671B模型使用Mcore+ChatLearn进行强化学习GRPO训练。
--支持Qwen3-235B模型使用Mcore+ChatLearn进行强化学习GRPO训练的效果。
--优化Qwen2.5-VL多模态大模型训练链路。
--修复已知的issues。

v0.11.3

02 Jul 01:58
33191bd

Choose a tag to compare

--支持Moonlight MoE模型使用Mcore+ChatLearn进行强化学习GRPO训练。
--优化Qwen3 MoE模型使用Mcore+ChatLearn进行强化学习GRPO训练的效果。
--DSW调试模式支持自适应卡数感知。
--修复已知的issues。

v0.11.2

27 May 03:09
8686b9c

Choose a tag to compare

--支持Qwen2.5模型使用Mcore+ChatLearn进行强化学习GRPO训练
--修复已知的issues。

v0.11.1

30 Apr 02:27
2c3e3c9

Choose a tag to compare

--支持Qwen3所有版本模型的最佳实践
--持续优化DeepSeek-V3/Qwen2.5 VL等最佳实践。
--实现用于超大参数量模型的MG/HF权重分布式转换。
--修复已知的issues。

v0.11.0

31 Mar 06:43
2c544a1

Choose a tag to compare

--优化DeepSeek-V3最佳实践。
--升级qwen2-moe最佳实践。
--新增QwQ/Qwen2.5-VL/Moonlight。
--修复已知的issues。

v0.10.3

28 Feb 06:40
bc375bb

Choose a tag to compare

--接入DeepSeek-V3并为其开发最佳实践。
--升级SFT微调流程,所有模型统一接口基于Template的微调逻辑。
--修复已知的issues。

v0.10.2

24 Jan 03:22
3b90f68

Choose a tag to compare

--升级DeepSeek-V2-MoE模型最佳实践为接入DeepSeek-V3-MoE的工程加速过渡。
--拓展Qwen2-VL模型以支持序列并行、虚拟流水并行及TP-Comm-Overlap特性。
--修复已知的issues。