官网readme中 *-http-client 显存最低要求是不需要或者 3 GB，但是我现在一打开显存直接冲到 10 GB，怎么解决？

[CUsopp]

启动方式：
docker compose -f compose.yaml --profile openai-server up -d --force-recreate

ｙａｍｌ：
mineru-openai-server:
image: mineru:latest
container_name: mineru-openai-server
restart: always
profiles: ["openai-server"]
ports:
- 30000:30000
environment:
MINERU_MODEL_SOURCE: local
entrypoint: mineru-openai-server
command:
--engine vllm
--host 0.0.0.0
--port 30000
ulimits:
memlock: -1
stack: 67108864
ipc: host
healthcheck:
test: ["CMD-SHELL", "curl -f http://localhost:30000/health || exit 1"]
volumes:
- /mnt/data/mineru/openai-server:/app/cache # HDD 映射
deploy:
resources:
reservations:
devices:
- driver: nvidia
device_ids: ["0"]
capabilities: [gpu]

[dosubot[bot]]

你遇到的显存暴涨（10GB）是因为 vllm 推理引擎启动时会预分配大量显存，这和 README 里提到的“最低显存需求”不同，实际需求远高于 3GB，官方建议至少 8GB 显存 参考。

解决方法：

1. 在 docker-compose.yaml 的 environment 字段添加：

   MINERU_VIRTUAL_VRAM_SIZE: "8"

   并在 command 字段加入：

   --gpu-memory-utilization 0.4
   

   这样可以限制每个进程最多占用 8GB 显存，且只用 40% 显存 参考。

2. 如果还是超出，可以把 --gpu-memory-utilization 降到 0.35 或 0.3，或者把 MINERU_VIRTUAL_VRAM_SIZE 设为更小值。

3. 大 PDF 建议分批处理，比如用 --max-convert-pages 或 start_page_id/end_page_id 参数，避免一次性加载太多页。

4. 推荐用 mineru-vllm-server + vlm-http-client 的双进程模式，内存隔离更好，释放更彻底 参考。

5. 定期重启服务可以彻底释放显存，因为模型缓存机制导致 clean_memory 不能完全释放显存。

6. 并发量高时建议加上 --max-concurrency 10（或 20、50），避免显存峰值过高 参考。

如果你用的是 MinerU 2.6.1 及以上版本，显存管理已经优化，建议升级后再做上述配置。

如需更详细参数说明，可查阅 vllm 官方文档。

To reply, just mention @dosu.

---

^{How did I do? Good | Irrelevant | Incorrect | Verbose | Hallucination | Report 🐛 | Other}

   

[myhloli]

client不需要太多显存，但是你这个是起的server，server本身就是需要大量显存的

[CUsopp]

ｃｌｉｅｎｔ新起的方法是？（不会就是ａｐｉ和ｇｒａｄｉｏ吧）

[myhloli]

https://opendatalab.github.io/MinerU/zh/quick_start/extension_modules/#clientopenai-vlm-http-client