请问chord里面为什么sft数据数量跟rl数据数量不一致

[waltonfuture]

感谢您的工作！我看到chord实现里面，sft数据要比rl数据要少，而且没有重叠部分，请问为什么是这么设计呢？另外，在mix_chord.yaml里面，我看sft数据集用的是 open-r1/Mixture-of-Thoughts ，这个应该得替换成 openr1_sft_dataset.json 的对应parquet形式是吗？

谢谢您的解答！

[pan-x-c]

严格来说，CHORD 并没有强制要求 sft 和 rl 数据有相关性，两部分的 loss 是分别计算的，因此数据量比例以及是否存在重叠都是可调节的超参数。

Mixture-of-Through 原本的数据中存在一些超长的脏数据，会导致训练失败，因此推荐使用 examples/mix_chord/README.md 中提供的方法对数据进行预处理

[waltonfuture]

谢谢您的回答！！

[waltonfuture]

作者您好，我想实现在一个batch里面sft question和grpo question一致 (比如都是64个question，且sft的question跟rl的question一模一样)，请问这个有什么比较便捷的实现方法吗？谢谢！

[garyzhang99]

作者您好，我想实现在一个batch里面sft question和grpo question一致 (比如都是64个question，且sft的question跟rl的question一模一样)，请问这个有什么比较便捷的实现方法吗？谢谢！

我们的框架在不改变默认值的时候没有对数据进行Shuffle，因此相对简单的方法就是你保证对应的SFT和RL dataset的数据顺序一致，Batchsize大小一致，这样理想情况下就能达成你的目标。

# 设置一样的batchsize
algorithm:
  policy_loss_fn_args:
    train_batch_size_expert: 64
    train_batch_size_usual: 512 # 64 batchsize * 8 repeat times
    ppo_mini_batchsize: 576 # 64 * 8 + 64
    expert_data_ratio: 0.11 # 64/576

buffer:
  batch_size: 64
  train_batch_size: 576

# 保证你SFT和RL数据集read进来后顺序一致

不过要注意的是，如果你的RL workflow生成时出现了Timeout/多次Retry不成功的情况（一般不会出现，取决你worfklow的写法能不能保证返回experience），会跳过某次生成experience，可能导致后面SFT/RL不对齐。

[waltonfuture]

明白了！谢谢您的回复

[waltonfuture]

@garyzhang99 作者您好！不好意思再打扰您一下。我想在获取sft response和grpo rollout responses之后，再调用policy model基于sft response和grpo rollout responses做一些操作（比如用policy model生成一些llm-as-judge reward）。请问要实现这个功能，您推荐在哪些脚本里面做修改呢？我目前是正在trinity/algorithm/sample_strategy/mix_sample_strategy.py里面修改。但我不确定这么操作是否合适。请问您有没有什么建议呢？十分感谢！

[garyzhang99]

@garyzhang99 作者您好！不好意思再打扰您一下。我想在获取sft response和grpo rollout responses之后，再调用policy model基于sft response和grpo rollout responses做一些操作（比如用policy model生成一些llm-as-judge reward）。请问要实现这个功能，您推荐在哪些脚本里面做修改呢？我目前是正在trinity/algorithm/sample_strategy/mix_sample_strategy.py里面修改。但我不确定这么操作是否合适。请问您有没有什么建议呢？十分感谢！

在trinity/algorithm/sample_strategy/mix_sample_strategy.py里面可以改，不过这时候应该拿到的experience都是算过advantage的形式了，你修改的不是原始的raw reward；另外你在这里也拿不到对应的model。

一个tricky但方便的做法是可以在workflow里面改，因为你在workflow里面基本是可以自由做任何操作。你可以将SFT response提前存成一个prompt到response的dict放到workflow里，然后你算RL rollout reward的时候用prompt作为dict去取出来对应的SFT response去算reward。另外workflow种，你的LLM-as-judge既可以用policy model也可以用auxiliary model。