MinerU的VLLM模型支持310P吗

[1556900941lizerui]

目前MinerU的VLLM大模型支持310P吗？看到官方文档说310P得用VLLM的镜像，意思是支持吗？mineru-api应该就不支持吧，里面的ocr模型是paddleocr的模型转过来的，目前paddleocr不支持310P

[dosubot[bot]]

MinerU 的 VLLM 大模型支持 310P（如 Atlas 300I Duo）推理加速，需要使用专门的 VLLM Docker 镜像（比如 v0.10.0rc1-310p），并在相关命令中加上 --enforce-eager --dtype float16 参数，因为 310P 不支持 bf16 精度。VLLM 的 vlm-auto-engine 和 vlm-http-client 模式在 310P 上运行稳定，精度接近 Nvidia GPU，支持张量并行（--tensor-parallel-size），但不支持数据并行（--data-parallel-size）详见官方文档。

mineru-api（FastAPI 服务）在 VLLM 和 lmdeploy 容器环境下也支持 310P 加速卡。但 OCR 功能（即 PaddleOCR 转换模型）在 310P 上不支持，因为 PaddleOCR 本身目前不支持 310P，所以 OCR 相关功能在 310P 上无法正常工作或无法获得硬件加速参考。

总结：VLLM 大模型和 mineru-api 的 VLM 推理部分支持 310P，但 OCR 功能不支持 310P。

To reply, just mention @dosu.

---

^{How did I do? Good | Irrelevant | Incorrect | Verbose | Hallucination | Report 🐛 | Other}

   

[1556900941lizerui]

收到，感谢 冬天的寒冷 ***@***.***