RLVR默认配置训练出现问题，造成不断减少回复长度，直至为0或不回答,崩掉模型效果

[millioniron]

如上所示，

我使用的是非常官方的脚本，

hydra:
  run:
    dir: .
  output_subdir: null

pg_variant: ppo # topr, vanilla, tis, cispo, kimi15, ppo
exp_name: Qwen2.5-7B-RLVR-finial_true_infer_correction-${pg_variant}-${now:%Y%m%d-%H%M%S}
seed: 42
logging_dir: ./output/logs/${exp_name}
output_dir: ./output
system_envs:
  USE_MODELSCOPE: '1'

checkpoint_config:
  type: file_system
  output_dir: /data/cpfs_0/rl_examples/models/${exp_name}
track_with: tensorboard
tracker_kwargs:
  log_dir: ./tensorboard/roll_exp/${exp_name}

num_gpus_per_node: 8

max_steps: 500
save_steps: 100
logging_steps: 1
eval_steps: 20
resume_from_checkpoint: false

max_grad_norm: 1.0

rollout_batch_size: 64  # prompt
prompt_length: 2048
response_length: 8196

num_return_sequences_in_group: 8
ppo_epochs: 1
adv_estimator: "grpo"

# data mask
max_len_mask: false
error_max_len_clip: false

# data weight
difficulty_loss_weight: false
length_loss_weight: false

# reward
add_token_level_kl: false

# advantage
whiten_advantages: false

use_pg_clip_range: true  
pg_clip_low: 0.2   
pg_clip_high: 0.28  



pretrain: /Qwen2.5-7B
reward_pretrain: /Qwen2.5-7B

use_kl_loss: false

init_kl_coef: 0

enable_reference: false

enable_old_logprobs_recompute: false

force_disable_old_logprobs_recompute: true  


validation:
  data_args:
    template: qwen2_5
    file_name:
      - data/math_benchmarks_0710.jsonl
  generating_args:
    top_p: 0.6
    top_k: 50
    num_beams: 1
    temperature: 0.6
    num_return_sequences: 8
  eval_steps: 20

actor_train:
  worker_cls: roll.pipeline.rlvr.actor_worker.ActorWorker
  pg_variant: ppo # topr, vanilla, tis, cispo, kimi15, ppo
  model_args:
    flash_attn: fa2
    disable_gradient_checkpointing: false
    dtype: bf16
    model_type: ~
  training_args:
    learning_rate: 1.0e-6
    weight_decay: 0
    per_device_train_batch_size: 2
    gradient_accumulation_steps: 32
    warmup_steps: 20
    num_train_epochs: 50
  data_args:
    template: qwen2_5
    file_name:
      - data/math8k.jsonl
    domain_interleave_probs:
      math_rule: 1
      # math_rule: 0.4
      # code_sandbox: 0.3
      # llm_judge: 0.1
      # crossthinkqa: 0.1
      # ifeval: 0.1
    dataset_dir: data
    messages: messages
    interleave_probs: "1.0"
    preprocessing_num_workers: 16
  strategy_args:
    strategy_name: megatron_train
    strategy_config:
      tensor_model_parallel_size: 1
      pipeline_model_parallel_size: 1
      expert_model_parallel_size: 1
      use_distributed_optimizer: true
      recompute_granularity: full
  device_mapping: list(range(0,8))
  infer_batch_size: 4
actor_infer:
  model_args:
    flash_attn: fa2
    disable_gradient_checkpointing: true
    dtype: bf16
  generating_args:
    max_new_tokens: ${response_length}
    top_p: 0.99
    top_k: 100
    num_beams: 1
    temperature: 0.99
    num_return_sequences: ${num_return_sequences_in_group}
    logprobs: 1
  data_args:
    template: qwen2_5
  strategy_args:
    strategy_name: vllm
    strategy_config:
      gpu_memory_utilization: 0.6
      block_size: 16
      max_model_len: 8000
reference:
  model_args:
    flash_attn: fa2
    disable_gradient_checkpointing: true
    dtype: bf16
    model_type: ~
  data_args:
    template: qwen2_5
  strategy_args:
    strategy_name: megatron_infer
    strategy_config:
      tensor_model_parallel_size: 1
      pipeline_model_parallel_size: 1
      expert_model_parallel_size: 1
  device_mapping: list(range(0,8))
  infer_batch_size: 4

rewards:
  math_rule:
    worker_cls: roll.pipeline.rlvr.rewards.math_rule_reward_worker.MathRuleRewardWorker
    model_args:
      model_name_or_path: ${reward_pretrain}
    data_args:
      template: qwen2_5
    tag_included: [deepmath_103k, 'MATH-500', 'OlympiadBench', 'minervamath', 'aime2025', 'gsm8k', 'aime', 'amc23', 'math_rule']
    world_size: 8
    infer_batch_size: 1

其中，训着训着就崩掉了，下面是崩掉了的效果图

我查询了所有的观察指标，似乎都是在模型崩掉之后才崩溃的，唯一一点不一样的是，模型的response在不断减小，这与我之前项目的不一致，正常的训练都是长度不断增加，而使用ROLL后，是这个样子，总长度不断下降，错误回复的长度不断下降，正确回复的长度微微上升，到了我们的崩溃点就崩掉了。。。。。。。。

不知道贵方在实现框架的时候，是否做了一些默认的更改，是的总体回复长度下降，或者观察到训练的崩溃现象，因为这是一个非常基础的配置。。。。。

[millioniron]

附带一个信息图，这个kl-loss是因为ref-logit等于old-logit，而old-logits是没有重计算，此时是0。造成了一个这样的一个趋势

[XChen-Zero]

A similar trend also emerges during training.
An analysis of the inference outputs shows that erroneous samples are unusually short; in many cases, the model directly produces \boxed{ANSWER} with little to no intermediate reasoning.

[wwxFromTju]

如上所示，

我使用的是非常官方的脚本，

hydra:
run:
dir: .
output_subdir: null

pg_variant: ppo # topr, vanilla, tis, cispo, kimi15, ppo
exp_name: Qwen2.5-7B-RLVR-finial_true_infer_correction-${pg_variant}-${now:%Y%m%d-%H%M%S}
seed: 42
logging_dir: ./output/logs/${exp_name}
output_dir: ./output
system_envs:
USE_MODELSCOPE: '1'

checkpoint_config:
type: file_system
output_dir: /data/cpfs_0/rl_examples/models/${exp_name}
track_with: tensorboard
tracker_kwargs:
log_dir: ./tensorboard/roll_exp/${exp_name}

num_gpus_per_node: 8

max_steps: 500
save_steps: 100
logging_steps: 1
eval_steps: 20
resume_from_checkpoint: false

max_grad_norm: 1.0

rollout_batch_size: 64 # prompt
prompt_length: 2048
response_length: 8196

num_return_sequences_in_group: 8
ppo_epochs: 1
adv_estimator: "grpo"

data mask

max_len_mask: false
error_max_len_clip: false

data weight

difficulty_loss_weight: false
length_loss_weight: false

reward

add_token_level_kl: false

advantage

whiten_advantages: false

use_pg_clip_range: true
pg_clip_low: 0.2
pg_clip_high: 0.28

pretrain: /Qwen2.5-7B
reward_pretrain: /Qwen2.5-7B

use_kl_loss: false

init_kl_coef: 0

enable_reference: false

enable_old_logprobs_recompute: false

force_disable_old_logprobs_recompute: true

validation:
data_args:
template: qwen2_5
file_name:
- data/math_benchmarks_0710.jsonl
generating_args:
top_p: 0.6
top_k: 50
num_beams: 1
temperature: 0.6
num_return_sequences: 8
eval_steps: 20

actor_train:
worker_cls: roll.pipeline.rlvr.actor_worker.ActorWorker
pg_variant: ppo # topr, vanilla, tis, cispo, kimi15, ppo
model_args:
flash_attn: fa2
disable_gradient_checkpointing: false
dtype: bf16
model_type: ~
training_args:
learning_rate: 1.0e-6
weight_decay: 0
per_device_train_batch_size: 2
gradient_accumulation_steps: 32
warmup_steps: 20
num_train_epochs: 50
data_args:
template: qwen2_5
file_name:
- data/math8k.jsonl
domain_interleave_probs:
math_rule: 1
# math_rule: 0.4
# code_sandbox: 0.3
# llm_judge: 0.1
# crossthinkqa: 0.1
# ifeval: 0.1
dataset_dir: data
messages: messages
interleave_probs: "1.0"
preprocessing_num_workers: 16
strategy_args:
strategy_name: megatron_train
strategy_config:
tensor_model_parallel_size: 1
pipeline_model_parallel_size: 1
expert_model_parallel_size: 1
use_distributed_optimizer: true
recompute_granularity: full
device_mapping: list(range(0,8))
infer_batch_size: 4
actor_infer:
model_args:
flash_attn: fa2
disable_gradient_checkpointing: true
dtype: bf16
generating_args:
max_new_tokens: ${response_length}
top_p: 0.99
top_k: 100
num_beams: 1
temperature: 0.99
num_return_sequences: ${num_return_sequences_in_group}
logprobs: 1
data_args:
template: qwen2_5
strategy_args:
strategy_name: vllm
strategy_config:
gpu_memory_utilization: 0.6
block_size: 16
max_model_len: 8000
reference:
model_args:
flash_attn: fa2
disable_gradient_checkpointing: true
dtype: bf16
model_type: ~
data_args:
template: qwen2_5
strategy_args:
strategy_name: megatron_infer
strategy_config:
tensor_model_parallel_size: 1
pipeline_model_parallel_size: 1
expert_model_parallel_size: 1
device_mapping: list(range(0,8))
infer_batch_size: 4

rewards:
math_rule:
worker_cls: roll.pipeline.rlvr.rewards.math_rule_reward_worker.MathRuleRewardWorker
model_args:
model_name_or_path: ${reward_pretrain}
data_args:
template: qwen2_5
tag_included: [deepmath_103k, 'MATH-500', 'OlympiadBench', 'minervamath', 'aime2025', 'gsm8k', 'aime', 'amc23', 'math_rule']
world_size: 8
infer_batch_size: 1
其中，训着训着就崩掉了，下面是崩掉了的效果图

我查询了所有的观察指标，似乎都是在模型崩掉之后才崩溃的，唯一一点不一样的是，模型的response在不断减小，这与我之前项目的不一致，正常的训练都是长度不断增加，而使用ROLL后，是这个样子，总长度不断下降，错误回复的长度不断下降，正确回复的长度微微上升，到了我们的崩溃点就崩掉了。。。。。。。。

不知道贵方在实现框架的时候，是否做了一些默认的更改，是的总体回复长度下降，或者观察到训练的崩溃现象，因为这是一个非常基础的配置。。。。。

可以看一下，这里的统计量，是否是过滤了max len的response。如果是过滤了，那么有另外一种可能，就是长度大部分拉到了max len。

[wwxFromTju]

具体可以看：

ROLL/roll/utils/metrics/metrics_manager.py

Lines 140 to 168 in c7e897d

	try:
	metrics[f"{prefix}/right_response_length/clip"] = (
	torch.sum(response_length[correct_mask] == max_response_length).detach().item()
	)
	metrics[f"{prefix}/right_response_length/mean"] = (
	torch.mean(response_length[correct_mask & (response_length != max_response_length)]).detach().item()
	)
	metrics[f"{prefix}/right_response_length/max"] = (
	torch.max(response_length[correct_mask & (response_length != max_response_length)]).detach().item()
	)
	metrics[f"{prefix}/right_response_length/min"] = (
	torch.min(response_length[correct_mask & (response_length != max_response_length)]).detach().item()
	)
	except:
	pass
	try:
	metrics[f"{prefix}/error_response_length/clip"] = (
	torch.sum(response_length[incorrect_mask] == max_response_length).detach().item()
	)
	metrics[f"{prefix}/error_response_length/mean"] = (
	torch.mean(response_length[incorrect_mask & (response_length != max_response_length)]).detach().item()
	)
	metrics[f"{prefix}/error_response_length/max"] = (
	torch.max(response_length[incorrect_mask & (response_length != max_response_length)]).detach().item()
	)
	metrics[f"{prefix}/error_response_length/min"] = (
	torch.min(response_length[incorrect_mask & (response_length != max_response_length)]).detach().item()
	)

这里的统计的是将超长的滤掉。所以看长度变化的时候，要结合clip的指标一起分析。如果想要全部一起统计，只需要将response_length != max_response_length去掉即可。

[millioniron]

很遗憾的是，并没有clip，总长度确实是在下降

[wwxFromTju]

很遗憾的是，并没有clip，总长度确实是在下降

是base模型吗？

[millioniron]

base模型

[millioniron]

qwen2.5-7b-base

[wwxFromTju]

@PanAndy 检查一下 response_length: 8196 和 max_model_len: 8000带来的统计问题

[wwxFromTju]

qwen2.5-7b-base

base model有一个patch和算mask有关，我们合入一下。

[millioniron]

@PanAndy 检查一下 response_length: 8196 和 max_model_len: 8000带来的统计问题

  gpu_memory_utilization: 0.6
  block_size: 16
  max_model_len: 8000
# strategy_name: sglang
# strategy_config:
#   mem_fraction_static: 0.8
#   load_format: dummy

我其实sglang和vllm都弄了，应该不是这个问题？

[millioniron]

qwen2.5-7b-base

base model有一个patch和算mask有关，我们合入一下。

多谢

[breaddaerb]

我之前也遇到了类似的问题。模型的输出长度在一段训练时间过后开始减少直至崩溃，我打印了一些崩溃开始阶段的rollout，看起来是输出到一半突然中断（比如公式写到一半就停了）。
后来一次实验我偶然把is_num_return_sequences_expand这个参数设置为true后这个问题消失了（default是false）。目前我还不清楚两者之间的机制关联，也不确定是否和这个问题遇到的是同一个根因。

[wwxFromTju]

我之前也遇到了类似的问题。模型的输出长度在一段训练时间过后开始减少直至崩溃，我打印了一些崩溃开始阶段的rollout，看起来是输出到一半突然中断（比如公式写到一半就停了）。 后来一次实验我偶然把is_num_return_sequences_expand这个参数设置为true后这个问题消失了（default是false）。目前我还不清楚两者之间的机制关联，也不确定是否和这个问题遇到的是同一个根因。

目前猜测和qwen base模型，pad和eos token id是同样的有关。待我们合入一个兜底patch。

[PanAndy]

可以合入这个PR，实验看看。PR中附了我们实验的曲线
#304