希望将上下文长度改为默认不设置或禁用,让ollama自行决定上下文长度。
当多个客户端访问ollama的同一个模型时,若上下文长度不一致,会导致模型从显存卸载重新加载的情况,大大增加了响应时间。若手动将上下文长度设置为相同,则不会卸载再加载。目前使用chatbox进行聊天,这个客户端没有设置上下文长度的选项。
为了多人在局域网内使用同一个ollama时,不会因上下文长度问题拉长时延(减少设置上下文长度这一步,毕竟人多了情况就不好控制了),能否禁用上下文长度选项或默认为不设置(使用ollama默认长度?,此时应该是在传参时不设置num_ctx参数)。
统一的上下文长度效率较高,增大上下文长度可通过ollama create指令创建更长上下文长度的模型。
如有错误之处请指正。
希望将上下文长度改为默认不设置或禁用,让ollama自行决定上下文长度。
当多个客户端访问ollama的同一个模型时,若上下文长度不一致,会导致模型从显存卸载重新加载的情况,大大增加了响应时间。若手动将上下文长度设置为相同,则不会卸载再加载。目前使用chatbox进行聊天,这个客户端没有设置上下文长度的选项。
为了多人在局域网内使用同一个ollama时,不会因上下文长度问题拉长时延(减少设置上下文长度这一步,毕竟人多了情况就不好控制了),能否禁用上下文长度选项或默认为不设置(使用ollama默认长度?,此时应该是在传参时不设置num_ctx参数)。
统一的上下文长度效率较高,增大上下文长度可通过ollama create指令创建更长上下文长度的模型。
如有错误之处请指正。