[ollama] - <title>使用ollama跑minicpm-v时，内存不能释放，会一直占用内存直到死机

[alexsunkai1]

起始日期 | Start Date

No response

实现PR | Implementation PR

No response

相关Issues | Reference Issues

No response

摘要 | Summary

使用ollama跑minicpm-v时，内存不能释放，会一直占用内存直到死机

基本示例 | Basic Example

使用ollama跑minicpm-v时，内存不能释放，会一直占用内存直到死机，只能重启ollama恢复

缺陷 | Drawbacks

使用ollama跑minicpm-v时，内存不能释放，会一直占用内存直到死机

未解决问题 | Unresolved questions

No response

[tc-mb]

您好，这是一个已知问题，并且我再去年10月就提交了pr，但目前还没被合并。我会近期再提交一次。
ggml-org/llama.cpp#9879

[tc-mb]

这个问题已经修复，合并进llamacpp官方主分支。

[zjykzj]

这个问题已经修复，合并进llamacpp官方主分支。

@tc-mb 求教！

在Windows WSL2 Ubuntu22.02使用Olama安装MiniCPM-v，使用API方式连续调用MiniCPM-v模型，发现仍旧会出现内存不断增长的现象。

(base) zjykzj@LAPTOP-S3BIPLGN:~/software/ollama$ ollama --version
ollama version is 0.6.6
(base) zjykzj@LAPTOP-S3BIPLGN:~/software/ollama$ lsb_release -a
No LSB modules are available.
Distributor ID: Ubuntu
Description:    Ubuntu 22.04.5 LTS
Release:        22.04
Codename:       jammy
(base) zjykzj@LAPTOP-S3BIPLGN:~/software/ollama$ ollama list
NAME                ID              SIZE      MODIFIED
minicpm-v:latest    c92bfad01205    5.5 GB    39 hours ago

调用代码如下：

def encode_image(image):
    """
    将图像编码为 Base64 格式，以便发送给 Ollama API。
    """
    buffered = BytesIO()
    image.save(buffered, format="JPEG")
    import base64
    return base64.b64encode(buffered.getvalue()).decode("utf-8")


def clean_license_plate(text):
    """
    清理 API 返回结果，提取并标准化车牌号码。
    支持清除中间的点（·）、连字符（-）、空格、引号等，并验证车牌号码格式。
    """
    # 去除所有特殊符号和空格
    cleaned_text = text.replace("·", "").replace("-", "").replace(" ", "").replace('"', '').replace("。", "").strip()
    return cleaned_text


def query_ollama_with_image(image, prompt, model="minicpm-v:latest"):
    """
    向 Ollama 发送图像和文本提示，获取生成结果。
    匹配 ChatBox 的配置：temperature=0.7, top_p=1。
    """
    unique_id = str(uuid.uuid4())
    prompt_with_id = f"{prompt} [Request ID: {unique_id}]"
    image_base64 = encode_image(image)

    payload = {
        "model": model,
        "prompt": prompt_with_id,
        "images": [image_base64],
        "stream": False,
        "temperature": 0.7,
        "top_p": 1.0,
        "max_tokens": 50,
    }

    headers = {
        "Cache-Control": "no-cache",
        "Pragma": "no-cache"
    }

    try:
        response = requests.post(OLLAMA_API_URL, headers=headers, json=payload)
        response.raise_for_status()
        raw_response = response.json().get("response", "")
        del image_base64  # 删除已使用的变量
        gc.collect()
        return clean_license_plate(raw_response)
    except requests.exceptions.RequestException as e:
        raise Exception(f"Request failed: {e}")

#603 #56

[tc-mb]

这部分我给llama.cpp已经修复了，pr已经合并。
但ollama他们从llama.cpp摘取引用，他们没有同步修改这块。
而且本月，ollama官方说，不再维护，依赖llama.cpp的旧引擎，而是开始推出他们新引擎。
所以我估计这个问题，可能短期不好解决。
我们也在积极的修改提交minicpm-v系列，进入新引擎中，还请耐心等待。