处理 PDF 出现 CUDA out of memory 显存不足，求降低显存占用的方法

[okkkkk616]

我在使用docker部署的 MinerU 处理一批PDF 论文时，遇到了 CUDA out of memory (显存不足)的错误，导致任务全部失败。服务器本身有8张卡，使用mineru -p <input_path> -o <output_path>启动，只有一张卡占用，如何能够实现批量处理pdf降低显存的方法。

[dosubot[bot]]

你的情况是：8张卡但只有1张在用，且处理批量PDF时OOM。以下是降低显存占用 + 利用多卡的建议：

1. 利用多GPU并行处理

推荐使用 mineru-vllm-server + vlm-http-client 的两进程架构，用 --data-parallel-size 将多张卡都利用起来 [1]：

CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 OMP_NUM_THREADS=1 mineru-vllm-server \
  --host 0.0.0.0 --port 30000 \
  --data-parallel-size 8 \
  --gpu-memory-utilization 0.4

然后客户端使用 vlm-http-client 后端连接该服务进行推理。

另一种方式是用 mineru-router 做请求级负载均衡，自动为每张GPU分配worker [2]：

mineru-router --host 0.0.0.0 --port 8002 --local-gpus auto

适合并发处理多个PDF文件的场景。

2. 降低单卡显存占用

• 降低 --gpu-memory-utilization，从默认的 0.5 减到 0.3~0.4 [3]
• 设置 MINERU_VIRTUAL_VRAM_SIZE 环境变量限制每个进程的最大显存使用（仅对 pipeline 后端有效）[4]
• 降低 MINERU_HYBRID_BATCH_RATIO 值，显存越小应设越低（如 ≤8GB 设为 2）[5]

3. 分批处理大文件

对页数较多的PDF，使用 --start 和 --end 参数分段处理，减少单次任务的显存压力 [6]。

4. 其他建议

• 升级到 MinerU 2.6.1+，内存管理有明显改进 [6]
• 启动前设置 export OMP_NUM_THREADS=1 防止多线程死锁 [6]
• 如果显存实在有限，可以使用 hybrid-http-client 后端，本地最低仅需约3GB显存 [7]

你有8张卡，最直接的改善方式就是用方案1把所有卡都用起来，同时适当降低 gpu-memory-utilization。

To reply, just mention @dosu.

---

^{How did I do? Good | Irrelevant | Incorrect | Verbose | Hallucination | Report 🐛 | Other}
   

[myhloli]

多卡用router起服务啊，然后任务通过client直接连接router的服务器使用mineru -p <path> -o <path> --api-url http://host:ip
前两天看你拉起来多卡的服务了，怎么现在多卡不用这个方式呢

[okkkkk616]

应该试我之前试的时候哪里没弄对，当时显存也不足了，刚刚又试了一下，可以了~谢谢

[xllrun]

我也是L20卡，请问L20一张卡可以支持多少文档并发？我测试无论并发1个还是6个，vllm每秒输出的token都是1000左右，想请教下vllm怎么的配置才能使得1张卡尽可能处理多个并发，并且更快