[Bug] DeepSeek-R1-Distill-Qwen3-8B GRPO微调教程-教程可读性太差，逻辑和代码混乱，建议重新整理下

[yzw3270978316]

出bug的具体模型

DeepSeek-R1-Distill-Qwen3-8B

出bug的具体模型教程

DeepSeek-R1-Distill-Qwen3-8B GRPO微调教程

教程负责人

郭宣伯

Bug描述

教程可读性太差，逻辑和代码混乱，建议重新整理下
https://github.com/datawhalechina/self-llm/blob/master/models/DeepSeek-R1-Distill-Qwen/05-DeepSeek-R1-0528-Qwen3-8B-GRPO%E5%8F%8Aswanlab%E5%8F%AF%E8%A7%86%E5%8C%96.md

复现步骤

教程可读性太差，逻辑和代码混乱，建议重新整理下
https://github.com/datawhalechina/self-llm/blob/master/models/DeepSeek-R1-Distill-Qwen/05-DeepSeek-R1-0528-Qwen3-8B-GRPO%E5%8F%8Aswanlab%E5%8F%AF%E8%A7%86%E5%8C%96.md

期望行为

教程可读性太差，逻辑和代码混乱，建议重新整理下
https://github.com/datawhalechina/self-llm/blob/master/models/DeepSeek-R1-Distill-Qwen/05-DeepSeek-R1-0528-Qwen3-8B-GRPO%E5%8F%8Aswanlab%E5%8F%AF%E8%A7%86%E5%8C%96.md

环境信息

教程可读性太差，逻辑和代码混乱，建议重新整理下
https://github.com/datawhalechina/self-llm/blob/master/models/DeepSeek-R1-Distill-Qwen/05-DeepSeek-R1-0528-Qwen3-8B-GRPO%E5%8F%8Aswanlab%E5%8F%AF%E8%A7%86%E5%8C%96.md

其他信息

教程可读性太差，逻辑和代码混乱，建议重新整理下
https://github.com/datawhalechina/self-llm/blob/master/models/DeepSeek-R1-Distill-Qwen/05-DeepSeek-R1-0528-Qwen3-8B-GRPO%E5%8F%8Aswanlab%E5%8F%AF%E8%A7%86%E5%8C%96.md

确认事项 / Verification

• 此问题未在过往Issue中被报告过 / This issue hasn't been reported before

[KMnO4-zx]

您好，可以详细说明一下是哪里的逻辑混乱吗？

[Twosugar666]

哈喽哈喽，我是这个教程的作者，我将尽快进行调整，以确保教程内容的准确性和清晰度。同时，如果您能提供更具体的反馈，例如指出哪些部分存在逻辑混乱或代码错误，这将对我们改进教程非常有帮助。再次感谢您的宝贵意见！

[CinderellaQAQ]

哈喽哈喽，我是这个教程的作者，我将尽快进行调整，以确保教程内容的准确性和清晰度。同时，如果您能提供更具体的反馈，例如指出哪些部分存在逻辑混乱或代码错误，这将对我们改进教程非常有帮助。再次感谢您的宝贵意见！

你好，该教程最后放的训练曲线图，看起来像是没正确被训练，比如completions的length怎么可能没有变化，即便不做grpo训练，原生模型通过sample得到的completions的长度也不太可能完全一致，建议打断点看一下生成的completions是不是完全一样的4个输出结果。我之前也遇到过类似情况，某些库版本和某些设置下会出现这种情况。