docker部署如何增加并发？

[promise-hash]

环境：910b，64G显存，docker部署
目前存在的问题：
单文件差不多6-7s左右，但是如果同时有10个文件上传，就会出现某个文件得2分钟左右才能识别，通过什么参数可以实现多并发，多线程处理文档呢

[dosubot[bot]]

910B + 64G显存的Docker部署环境下，MinerU提升并发/多文件处理能力的核心做法如下：

1. 强烈建议多进程，不推荐多线程：pypdfium2等依赖不是线程安全的，多线程/多协程会导致崩溃、内存碎片、数据串扰，必须用多进程（multiprocessing spawn）方式，每个进程独立初始化模型和NPU上下文，避免资源冲突和bad_alloc异常[官方说明]。

2. 关键参数与环境变量：

   • MINERU_API_MAX_CONCURRENT_REQUESTS：限制FastAPI服务最大并发API请求数，建议根据显存和内存设置（如8~20），超出会返回503[代码实现]。
   • MINERU_MIN_BATCH_INFERENCE_SIZE：提升单批处理吞吐量，默认128，可提升至256或更高（需显存充足）[参数说明]。
   • --max_concurrency：VLM后端并发度，建议10以内，过高会资源争用，过低利用率不高[经验值]。
   • --data-parallel-size：多卡并发（多GPU/NPU时），如--data-parallel-size 2。
   • MINERU_VIRTUAL_VRAM_SIZE：限制每进程显存用量，缓解并发分配失败。
   • Docker参数：--shm-size 32g、--ipc=host，保证共享内存和进程通信资源充足。

3. docker-compose.yaml配置示例：

services:
  mineru-api:
    image: mineru:latest
    environment:
      MINERU_MODEL_SOURCE: local
      MINERU_MIN_BATCH_INFERENCE_SIZE: '256'
      MINERU_API_MAX_CONCURRENT_REQUESTS: '10'
      MINERU_VIRTUAL_VRAM_SIZE: '16'
    command:
      - mineru-api
      - --host
      - 0.0.0.0
      - --port
      - '8000'
      - --max_concurrency
      - '10'
      # - --data-parallel-size
      # - '2'
    shm_size: 32g
    ipc: host
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              device_ids: ['0']  # 多卡可写 ['0','1']
              capabilities: [gpu]
    ports:
      - '8000:8000'

4. 最佳实践与注意事项：

   • 多进程/多worker部署，每进程独立初始化模型和NPU上下文，避免多线程/多协程并发访问同一模型。
   • 定期重启服务释放底层资源，监控系统内存、文件句柄、网络连接等，避免Docker或主机层资源瓶颈。
   • 大文件建议分批处理（如--start、--end、--max-convert-pages），避免单次加载全部页面导致内存峰值过高。
   • 升级到MinerU 2.6.6及以上版本，相关并发和内存管理环境变量才生效[升级建议]。
   • 多容器/多实例部署（如Docker Compose/K8s横向扩容）可进一步提升整体吞吐量。

5. 常见并发瓶颈排查：

   • 并发参数过高导致OOM或502/503，需结合显存和内存实际情况调整。
   • 单进程内多线程/多协程并发调用模型推理会导致崩溃或数据串扰，必须避免。
   • 监控free -h、lsof、dmesg、nvidia-smi等，排查资源瓶颈。

详细原理和更多配置细节可参考官方并发与部署讨论和多进程安全说明。

To reply, just mention @dosu.

---

^{How did I do? Good | Irrelevant | Incorrect | Verbose | Hallucination | Report 🐛 | Other}

   

[promise-hash]

经测试添加--max_concurrency参数并没有提高并发效果（pipeline方式）

[myhloli]

可以起一个openai-server，然后通过多个http-client来做并发

[myhloli]

pipeline的并发可以参考https://github.com/opendatalab/MinerU/blob/master/projects/multi_gpu_v2/README_zh.md 这个项目

[promise-hash]

pipeline的并发可以参考https://github.com/opendatalab/MinerU/blob/master/projects/multi_gpu_v2/README_zh.md 这个项目
我看了您发的参考文档，这个是多GPU卡情况指定多个并发，如果一张卡64G显存，只可以存在一个并发吗？

[myhloli]

server的配置里有个workers_per_device参数，可以控制单卡上允许的最大并发数

[promise-hash]

server的配置里有个workers_per_device参数，可以控制单卡上允许的最大并发数

您好，有两个问题：
1、启动的时候，我发现每次上传文件都会去拉去模型，非常耗时。
2、我刚尝试去给mineru-api去加--workers_per_device 20参数感觉没有效果，如何有效的通过启动命令添加参数呢？

[myhloli]

mineru-api不支持这些的，你要用我发的那个链接里的项目