15号下载的6b-32k模型，通过api启动，推理时报错：RuntimeError: probability tensor contains either 'inf', 'nan', or element < 0

[shichaoYan]

环境：centerOS7.9 ，两张nvida-A10显卡，python版本：3.11，pytorch版本：2.2.1 , CUDA Version: 12.2 Driver Version: 535.129.03
模型启动正常，单人去对话也正常，但是在同时有多人去使用或者连续请求的时候，就会有这个报错，但是模型并没有挂掉。

之前在微软云服务器上使用过同样版本的模型，也是多人使用，却没有问题。
切换到8k，和使用不同的启动方式，都有这样的问题，直接调用/v1/chat/completions没有问题，问题发送时都是在使用langchain的ChatOpenAI方法调用，流式输出时。
在网上找过很多解决方案，包括禁用do_sample等，均没有效果。求助！

[zRzRzRzRzRzRzR]

调高温度，大于0.1

[zRzRzRzRzRzRzR]

这个是社区解决办法，暂时能解决一下

[shichaoYan]

感谢您的回复，温度调高的办法已经尝试过，并没有解决问题。目前是使用老版本的模型，运行正常。