GLM3-6B回答被异常截断？

[SenYoung]

调用model.chat，response被截断，response没有超长，下面是一些参数：
max_length=4000
top_p=0.2
temperature=0.95
response = model.chat(tokenizer, user_info, history=history, max_length=max_length, top_p=top_p, temperature=temperature)

其中len(user_info)=30，len(str(history))=2548，len(response[0])=884，问题被异常截断

[mingyue0094]

你是否用的最新代码。

新版导入模块部分，会有如下代码。

from sse_starlette.sse import EventSourceResponse

# Set up limit request time 设置超时时间的。 旧版的，没下面的等待1000秒。 旧版的，好像是20秒还是多久后就结束截断对话了。
EventSourceResponse.DEFAULT_PING_INTERVAL = 1000