如何使用 LMDeploy 把 InternLM-20B-4bit 部署为服务

[vansin]

通过以下步骤，即可快速把 InternLM-20B-4bit 部署为服务，并在线与模型聊天。

第一步：安装 lmdeploy

pip install 'lmdeploy>=0.0.9'

第二步：下载 InternLM-20B-4bit 模型

git-lfs install
git clone --depth 1 https://huggingface.co/internlm/internlm-chat-20b-4bit

第三步：转换模型权重格式

python3 -m lmdeploy.serve.turbomind.deploy internlm-chat \
    --model-path ./internlm-chat-20b-4bit \
    --model-format awq \
    --group-size 128

第四步：启动 gradio 服务

python3 -m lmdeploy.serve.gradio.app ./workspace --server_name {ip_addr} --server_port {port}

[vansin]

通过以下步骤，即可快速把 InternLM-20B-Chat 部署为服务，并在线与模型聊天。

第一步：安装 lmdeploy

pip install 'lmdeploy>=0.0.9'`

第二步：下载 InternLM-20B-4bit 模型

git-lfs install
git clone https://huggingface.co/internlm/internlm-chat-20b

第三步：转换模型权重格式

python3 -m lmdeploy.serve.turbomind.deploy internlm-chat \
    --model-path ./internlm-chat-20b

第四步：启动 gradio 服务

python3 -m lmdeploy.serve.gradio.app ./workspace --server_name {ip_addr} --server_port {port}

[YIBO0408]

cd internlm-chat-20b
git lfs pull

[luoqingyi1993]

量化部署出现这个错误，大佬们看看是为什么？

[luoqingyi1993]

这个是文件夹，里面放的就是4bit的模型

[lvhan028]

日志显示：./root/model/internlm-chat-20b-4bit/tokenizer.model doesn't exist.
文件夹内的文件是全的不？

[luoqingyi1993]

全的呢

[lvhan028]

我复现不出来。能贴一下 ll ./root/model/internlm-chat-20b-4bit/ 的结果吗？

[luoqingyi1993]

[luoqingyi1993]

24G的显存，好像跑不了4bit的量化模型？还是哪里的参数要设置？

[lvhan028]

triton_models/weights/config.ini中的session_len调小