Replies: 2 comments 1 reply
-
今天看到这个issue更疑惑了,那为什么我的回复会被截断,因为网络不稳定?或者单纯就是服务器觉得输出完了?改了回复变完整只是凑巧? |
Beta Was this translation helpful? Give feedback.
0 replies
-
今天突发奇想用隔壁lobe-chat试了一下,竟然如果设置同为gemini-1.5-pro,就不截断了,看了下设置,max_token可以设置为0,也就是不启用,而nextchat这里必须大于等于1024,不知道是不是这个问题 |
Beta Was this translation helpful? Give feedback.
1 reply
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Uh oh!
There was an error while loading. Please reload this page.
-
现在的模型允许的上下文都很大了,不再是几年前抠抠搜搜的4k,甚至128k都很常见了。那么默认参数是不是可以考虑更新一下,主要是经常回复被截断不知道为什么,后来才发现这个被遗忘的设置项max_tokens,毕竟用了一年了没动过,一开始没想到是被本地设置截断了。原来默认是4000,暂时改到了10000,但按照128k来说,再加个0改成100000都没问题。

包括其他的参数,现在还有没有必要。历史消息压缩阈值是不是也可以给大一点,我不清楚是不是所有模型都需要temperature和top_p,还是只是类openai系的需要。
Beta Was this translation helpful? Give feedback.
All reactions