tokenizer不是右padding吗 为啥能直接在ppo中直接生成

[ciaoyizhen]

我看tokenizer是右padding的，这不是会导致生成的结果不对吗？ 这里有大量的0 虽然有attention_mask 但是位置信息就不对了呀？ 我看Qwen啥的 现在tokenizer都是左padding呀

[jingyaogong]

minimind/trainer/train_ppo.py

Line 303 in a9c56b2

tokenizer.padding_side = 'left' # PPO需要左侧padding

已经是left padding了呀 🤔

[jingyaogong]

（之前的实现无问题）

目前已更新成显式 left padding：

11b962d#r173389609

minimind/trainer/train_ppo.py

Line 126 in 11b962d

max_length=args.max_seq_len, padding_side="left").to(args.device) # input_ids: [B, P], attention_mask: [B, P]

[ciaoyizhen]

义父 哎呀 我没看到上面修改了哈哈哈哈