Skip to content

上下文长度默认留空 #6

Description

@sunhy0316

希望将上下文长度改为默认不设置或禁用,让ollama自行决定上下文长度。

当多个客户端访问ollama的同一个模型时,若上下文长度不一致,会导致模型从显存卸载重新加载的情况,大大增加了响应时间。若手动将上下文长度设置为相同,则不会卸载再加载。目前使用chatbox进行聊天,这个客户端没有设置上下文长度的选项。

为了多人在局域网内使用同一个ollama时,不会因上下文长度问题拉长时延(减少设置上下文长度这一步,毕竟人多了情况就不好控制了),能否禁用上下文长度选项或默认为不设置(使用ollama默认长度?,此时应该是在传参时不设置num_ctx参数)。

统一的上下文长度效率较高,增大上下文长度可通过ollama create指令创建更长上下文长度的模型。

如有错误之处请指正。

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions