ImportError: cannot import name 'C' from 'cpmcu' (/workspace/CPM.cu/cpmcu/__init__.py)

[tdtgi]

在docker中运行start_server.py报错ImportError: cannot import name 'C' from 'cpmcu' (/workspace/CPM.cu/cpmcu/init.py)
命令python examples/minicpm4/start_server.py --model-path /workspace/model --draft-model-path /workspace/draft --frspec-path /workspace/draft

[jk3456a]

可以重新拉取一次镜像，这个是环境变量问题，最早的镜像设置了容器里设了环境变量PYTHONPATH=/workspace/CPM.cu:$PYTHONPATH，导致 Python 先从源码目录 /workspace/CPM.cu/cpmcu 导入包，源码目录下没有编译好的扩展模块 cpmcu.C，所以出现 cannot import name 'C' from 'cpmcu'。

我们最新的镜像已经修改了这个问题，目前新镜像输入指令：

docker run --rm --gpus all \
-v /models/MiniCPM4.1-8B:/workspace/model \
cpmcu:cuda12.6-release \
python CPM.cu/examples/minicpm4/start_server.py \
--model-path /workspace/model 

是可以正常跑的
或者通过增加-e PYTHONPATH=""环境变量设为空也可以避开这个问题

[tdtgi]

可以重新拉取一次镜像，这个是环境变量问题，最早的镜像设置了容器里设了环境变量PYTHONPATH=/workspace/CPM.cu:$PYTHONPATH，导致 Python 先从源码目录 /workspace/CPM.cu/cpmcu 导入包，源码目录下没有编译好的扩展模块 cpmcu.C，所以出现 cannot import name 'C' from 'cpmcu'。

我们最新的镜像已经修改了这个问题，目前新镜像输入指令：

docker run --rm --gpus all \
-v /models/MiniCPM4.1-8B:/workspace/model \
cpmcu:cuda12.6-release \
python CPM.cu/examples/minicpm4/start_server.py \
--model-path /workspace/model 

是可以正常跑的 或者通过增加-e PYTHONPATH=""环境变量设为空也可以避开这个问题

请问最新的镜像名是什么，现在这个镜像是今天上午拉取的

[jk3456a]

可以重新拉取一次镜像，这个是环境变量问题，最早的镜像设置了容器里设了环境变量PYTHONPATH=/workspace/CPM.cu:$PYTHONPATH，导致 Python 先从源码目录 /workspace/CPM.cu/cpmcu 导入包，源码目录下没有编译好的扩展模块 cpmcu.C，所以出现 cannot import name 'C' from 'cpmcu'。
我们最新的镜像已经修改了这个问题，目前新镜像输入指令：

docker run --rm --gpus all \
-v /models/MiniCPM4.1-8B:/workspace/model \
cpmcu:cuda12.6-release \
python CPM.cu/examples/minicpm4/start_server.py \
--model-path /workspace/model 

是可以正常跑的 或者通过增加-e PYTHONPATH=""环境变量设为空也可以避开这个问题

请问最新的镜像名是什么，现在这个镜像是今天上午拉取的

我复现了这个问题 目前的镜像路径上还有一定的问题 修复后我会回复

[tdtgi]

可以重新拉取一次镜像，这个是环境变量问题，最早的镜像设置了容器里设了环境变量PYTHONPATH=/workspace/CPM.cu:$PYTHONPATH，导致 Python 先从源码目录 /workspace/CPM.cu/cpmcu 导入包，源码目录下没有编译好的扩展模块 cpmcu.C，所以出现 cannot import name 'C' from 'cpmcu'。
我们最新的镜像已经修改了这个问题，目前新镜像输入指令：

docker run --rm --gpus all \
-v /models/MiniCPM4.1-8B:/workspace/model \
cpmcu:cuda12.6-release \
python CPM.cu/examples/minicpm4/start_server.py \
--model-path /workspace/model 

是可以正常跑的 或者通过增加-e PYTHONPATH=""环境变量设为空也可以避开这个问题

请问最新的镜像名是什么，现在这个镜像是今天上午拉取的

我复现了这个问题 目前的镜像路径上还有一定的问题 修复后我会回复

感谢回复，另外，源代码使用编pip install . 编译后再运行start_server.py也会出现同样的问题

[jk3456a]

已解决，请拉取最新的docker镜像，另外，鉴于你在自定义模型配置，建议你使用

MiniCPM4 Configuration:
  --apply-sparse [APPLY_SPARSE], --apply_sparse [APPLY_SPARSE]
                        Enable sparse attention (default: True)
  --apply-quant [APPLY_QUANT], --apply_quant [APPLY_QUANT]
                        Enable quantization for base model (default: True)
  --apply-eagle [APPLY_EAGLE], --apply_eagle [APPLY_EAGLE]
                        Enable Eagle speculative decoding (default: True)
  --apply-eagle-quant [APPLY_EAGLE_QUANT], --apply_eagle_quant [APPLY_EAGLE_QUANT]
                        Enable quantization for Eagle draft model (default: True)
  --minicpm4-yarn [MINICPM4_YARN], --minicpm4_yarn [MINICPM4_YARN]
                        Enable MiniCPM4 YARN for long context support (default: True)

参数，或使用

python -m cpmcu.server [options]

接口

[tdtgi]

已解决，请拉取最新的docker镜像，另外，鉴于你在自定义模型配置，建议你使用

MiniCPM4 Configuration:
  --apply-sparse [APPLY_SPARSE], --apply_sparse [APPLY_SPARSE]
                        Enable sparse attention (default: True)
  --apply-quant [APPLY_QUANT], --apply_quant [APPLY_QUANT]
                        Enable quantization for base model (default: True)
  --apply-eagle [APPLY_EAGLE], --apply_eagle [APPLY_EAGLE]
                        Enable Eagle speculative decoding (default: True)
  --apply-eagle-quant [APPLY_EAGLE_QUANT], --apply_eagle_quant [APPLY_EAGLE_QUANT]
                        Enable quantization for Eagle draft model (default: True)
  --minicpm4-yarn [MINICPM4_YARN], --minicpm4_yarn [MINICPM4_YARN]
                        Enable MiniCPM4 YARN for long context support (default: True)

参数，或使用

python -m cpmcu.server [options]
接口
出现了新的问题，命令python examples/minicpm4/start_server.py --model-path /workspace/model --draft-model-path /workspace/draft --frspec-path /workspace/draft

[jk3456a]

模型名称目前不能是这样命名的。
参考

# 1. Download model on host
huggingface-cli download openbmb/MiniCPM4-8B-marlin-cpmcu --local-dir model/MiniCPM4-8B-marlin-cpmcu

#    Also download draft model & FRSpec for speculative decoding (optional)
huggingface-cli download openbmb/MiniCPM4-8B-Eagle-FRSpec-QAT-cpmcu --local-dir model/MiniCPM4-8B-Eagle-FRSpec-QAT-cpmcu

# 2. Mount directories and run
 docker run --gpus all -it \
  -v ./repos/CPM.cu/model:/workspace/model \
  cpmcu:cuda12.6-release /bin/bash

python -m cpmcu.server --model-path /workspace/model/MiniCPM4-8B-marlin-cpmcu --draft-model-path /workspace/model/MiniCPM4-8B-Eagle-FRSpec-QAT-cpmcu --frspec-path /workspace/model/MiniCPM4-8B-Eagle-FRSpec-QAT-cpmcu

目前main分支里已经更新了最新指令