CUDA11.4 安装报错,提示404

[MdcGIt]

CUDA11.4 安装报错,提示404

[lvhan028]

在 issue #2175 中回复了。可以重新试试看了

[MdcGIt]

好的

[MdcGIt]

这我是不是要更新显卡驱动了。。

[lvhan028]

Can you share the information by executing nvidia-smi?

[MdcGIt]

[lvhan028]

从上面的日志看，是pytorch 判断 driver 版本太低了。
你可以尝试降低 pytorch 版本。https://pytorch.org/get-started/previous-versions/

pip install torch==1.12.0+cu113 torchvision==0.13.0+cu113 --extra-index-url https://download.pytorch.org/whl/cu113

[MdcGIt]

CUDA_VISIBLE_DEVICES=0,1 lmdeploy chat /sdd/model/lmdeploy/model/Qwen2-1.5B --cache-max-entry-count 0.1 --tp=2
今天执行报错了:

[MdcGIt]

--tp=2 这个参数加了就报错了 不加能正常回答 但是只有RTX3060ti这张显卡在用 T4那张就没用了

[lvhan028]

@lzhangzz do you have any idea? One T4, one 3060, different arch, emmmm

[lzhangzz]

The model is in BF16 format which is not supported by the T4 GPU.

[MdcGIt]

我跑glm4-9b-chat也是 俩张卡跑不起来 只有GPU1 在使用