batch推理，多样性降低

[DankoZhang]

System Info / 系統信息

python==3.10
transformers==4.30

Who can help? / 谁可以帮助到您？

@Btlmd

Information / 问题信息

• The official example scripts / 官方的示例脚本
• My own modified scripts / 我自己修改的脚本和任务

Reproduction / 复现过程

单条请求model.chat，多样性很好，但是使用官方提供的batch请求，就会有很多重复回答，可能是什么原因呢？

Expected behavior / 期待表现

batch请求，效果同单条请求一致。

[Btlmd]

请问，官方提供的 batch 推理是哪个脚本 / 函数？对于对话任务，似乎没有提供官方的 batch 推理脚本？

[zRzRzRzRzRzRzR]

该问题暂时无法复现，移动到讨论区，如果能提供最小复现，将能对我们的辅助起到一定维护作用