Skip to content

[Feature][Ascend][昇腾][镜像]求助! lmdeploy 有没有新版本的昇腾镜像 0.11.1版本配套Ascend 300Ipro的镜像 #4271

@nicokickcpython

Description

@nicokickcpython

Motivation

官方文档里
docker pull crpi-4crprmm5baj1v8iv.cn-hangzhou.personal.cr.aliyuncs.com/lmdeploy_dlinfer/ascend:300i-duo-latest
这个镜像地址拉取下来的是0.9.2版本 cann还是8.1.RC1版本

能不能更新归档一下 配套CANN 8.3.RC1 lmdeploy 0.11.1 昇腾300I的镜像

Related resources

No response

Additional context

我们在尝试使用lmdeploy 在Ascend 300I硬件上推理我们基于InternVL3.5-8B微调的权重,想使用到lmdeploy支持的图模式的能力,看是否能不能有比vllm更好的性能表现。

Metadata

Metadata

Assignees

Labels

No labels
No labels

Type

No type

Projects

No projects

Milestone

No milestone

Relationships

None yet

Development

No branches or pull requests

Issue actions