chatglm3-6b-32k模型对话出现大量重复性内容 #778
-
|
我在longchain-chatchat中加载了chatglm3-6b-32k结果出现了大量的重复性内容，甚至出现了全是<|assistant|><|assistant|>输出的情况，请问有人遇到过吗，该如何解决 |
Beta Was this translation helpful? Give feedback.
Replies: 1 comment 4 replies
-
|
<|assistant|>是模板没有更新吧，chatglm3-6b对应的模板已经更新了 |
Beta Was this translation helpful? Give feedback.
-
|
我也出现了同样的问题，请问你说的模板在哪里？需要替换哪个文件啊？我是在Langchain-chatchat中直接调用的chatglm3-6b-32k 有时候会出现<|assistant|><|assistant|>，有时候会出现<|user|><|user|> 期待你的解答，谢谢 |
Beta Was this translation helpful? Give feedback.
-
|
是最新的模型配置吗，我估计是使用了vllm或者fschat嵌套了错误的内容，不过重复的问题好像是有存在的，可以尝试在调高重复惩罚系数（chatchat没有，你得用transformer手动传入） |
Beta Was this translation helpful? Give feedback.
-
|
你好，我这边4月中旬下载了最新的模型文件，对话时，也出现这种一直重复输出的问题，用的chatglm3-6b-8k的没问题，但是chatglm3-6b-128k有问题，按照这边的方案 ，修改了modeling_chatglm文件里面的chat和stream_chat文件，在gen_kwargs里面添加了"repetition_penalty": 100，但是问题并没有解决，请问下，有可解决的方案？在此感谢了 |
Beta Was this translation helpful? Give feedback.
-
|
重新加载模型是没问题了 |
Beta Was this translation helpful? Give feedback.
是最新的模型配置吗，我估计是使用了vllm或者fschat嵌套了错误的内容，不过重复的问题好像是有存在的，可以尝试在调高重复惩罚系数（chatchat没有，你得用transformer手动传入）