|
| 1 | +## 1. 测试平台 |
| 2 | +以下为本指南测试使用的平台信息,供参考: |
| 3 | +``` |
| 4 | +os: Ubuntu 22.04.5 LTS |
| 5 | +cpu: Intel x86-64 |
| 6 | +xpu: P800 |
| 7 | +driver: 515.58 |
| 8 | +docker: 20.10.5 |
| 9 | +``` |
| 10 | + |
| 11 | +## 2. 环境准备 |
| 12 | + |
| 13 | +### 2.1 使用 Dockerfile 构建镜像 (vllm) |
| 14 | + |
| 15 | +```bash |
| 16 | +wget https://gcore.jsdelivr.net/gh/opendatalab/MinerU@master/docker/china/kxpu.Dockerfile |
| 17 | +docker build --network=host -t mineru:kxpu-vllm-latest -f kxpu.Dockerfile . |
| 18 | +``` |
| 19 | + |
| 20 | +## 3. 启动 Docker 容器 |
| 21 | + |
| 22 | +```bash |
| 23 | +docker run -u root --name mineru_docker \ |
| 24 | + --device=/dev/xpu0:/dev/xpu0 \ |
| 25 | + --device=/dev/xpu1:/dev/xpu1 \ |
| 26 | + --device=/dev/xpu2:/dev/xpu2 \ |
| 27 | + --device=/dev/xpu3:/dev/xpu3 \ |
| 28 | + --device=/dev/xpu4:/dev/xpu4 \ |
| 29 | + --device=/dev/xpu5:/dev/xpu5 \ |
| 30 | + --device=/dev/xpu6:/dev/xpu6 \ |
| 31 | + --device=/dev/xpu7:/dev/xpu7 \ |
| 32 | + --device=/dev/xpuctrl:/dev/xpuctrl \ |
| 33 | + --net=host \ |
| 34 | + --cap-add=SYS_PTRACE --security-opt seccomp=unconfined \ |
| 35 | + --tmpfs /dev/shm:rw,nosuid,nodev,exec,size=32g \ |
| 36 | + --cap-add=SYS_PTRACE \ |
| 37 | + -v /home/users/vllm-kunlun:/home/vllm-kunlun \ |
| 38 | + -v /usr/local/bin/xpu-smi:/usr/local/bin/xpu-smi \ |
| 39 | + -w /workspace \ |
| 40 | + -e MINERU_MODEL_SOURCE=local \ |
| 41 | + -e MINERU_FORMULA_CH_SUPPORT=true \ |
| 42 | + -e MINERU_VLLM_DEVICE=kxpu \ |
| 43 | + -it mineru:kxpu-vllm-latest \ |
| 44 | + /bin/bash |
| 45 | +``` |
| 46 | + |
| 47 | +执行该命令后,您将进入到Docker容器的交互式终端,您可以直接在容器内运行MinerU相关命令来使用MinerU的功能。 |
| 48 | +您也可以直接通过替换`/bin/bash`为服务启动命令来启动MinerU服务,详细说明请参考[通过命令启动服务](https://opendatalab.github.io/MinerU/zh/usage/quick_usage/#apiwebuihttp-clientserver)。 |
| 49 | + |
| 50 | + |
| 51 | +## 4. 注意事项 |
| 52 | + |
| 53 | +不同环境下,MinerU对Kunlunxin加速卡的支持情况如下表所示: |
| 54 | + |
| 55 | +<table border="1"> |
| 56 | + <thead> |
| 57 | + <tr> |
| 58 | + <th rowspan="2" colspan="2">使用场景</th> |
| 59 | + <th colspan="2">容器环境</th> |
| 60 | + </tr> |
| 61 | + <tr> |
| 62 | + <th>vllm</th> |
| 63 | + </tr> |
| 64 | + </thead> |
| 65 | + <tbody> |
| 66 | + <tr> |
| 67 | + <td rowspan="3">命令行工具(mineru)</td> |
| 68 | + <td>pipeline</td> |
| 69 | + <td>🟢</td> |
| 70 | + </tr> |
| 71 | + <tr> |
| 72 | + <td><vlm/hybrid>-auto-engine</td> |
| 73 | + <td>🟢</td> |
| 74 | + </tr> |
| 75 | + <tr> |
| 76 | + <td><vlm/hybrid>-http-client</td> |
| 77 | + <td>🟢</td> |
| 78 | + </tr> |
| 79 | + <tr> |
| 80 | + <td rowspan="3">fastapi服务(mineru-api)</td> |
| 81 | + <td>pipeline</td> |
| 82 | + <td>🟢</td> |
| 83 | + </tr> |
| 84 | + <tr> |
| 85 | + <td><vlm/hybrid>-auto-engine</td> |
| 86 | + <td>🟢</td> |
| 87 | + </tr> |
| 88 | + <tr> |
| 89 | + <td><vlm/hybrid>-http-client</td> |
| 90 | + <td>🟢</td> |
| 91 | + </tr> |
| 92 | + <tr> |
| 93 | + <td rowspan="3">gradio界面(mineru-gradio)</td> |
| 94 | + <td>pipeline</td> |
| 95 | + <td>🟢</td> |
| 96 | + </tr> |
| 97 | + <tr> |
| 98 | + <td><vlm/hybrid>-auto-engine</td> |
| 99 | + <td>🟢</td> |
| 100 | + </tr> |
| 101 | + <tr> |
| 102 | + <td><vlm/hybrid>-http-client</td> |
| 103 | + <td>🟢</td> |
| 104 | + </tr> |
| 105 | + <tr> |
| 106 | + <td colspan="2">openai-server服务(mineru-openai-server)</td> |
| 107 | + <td>🟢</td> |
| 108 | + </tr> |
| 109 | + <tr> |
| 110 | + <td colspan="2">数据并行 (--data-parallel-size)</td> |
| 111 | + <td>🔴</td> |
| 112 | + </tr> |
| 113 | + </tbody> |
| 114 | +</table> |
| 115 | + |
| 116 | +注: |
| 117 | +🟢: 支持,运行较稳定,精度与Nvidia GPU基本一致 |
| 118 | +🟡: 支持但较不稳定,在某些场景下可能出现异常,或精度存在一定差异 |
| 119 | +🔴: 不支持,无法运行,或精度存在较大差异 |
| 120 | + |
| 121 | +>[!TIP] |
| 122 | +> - Kunlunxin加速卡指定可用加速卡的方式与NVIDIA GPU类似,请参考[使用指定GPU设备](https://opendatalab.github.io/MinerU/zh/usage/advanced_cli_parameters/#cuda_visible_devices)章节说明, |
| 123 | +>将环境变量`CUDA_VISIBLE_DEVICES`替换为`XPU_VISIBLE_DEVICES`即可。 |
| 124 | +> - 在Kunlunxin平台可以通过`xpu-smi`命令查看加速卡的使用情况,并根据需要指定空闲的加速卡ID以避免资源冲突。 |
0 commit comments