NVIDIA GeForce RTX 3060 12G显存，运行量化的cli_demo.py，提示内存不足。

[spar025]

新人求助：
当前配置运行量化的chatGLM3-6B，跑不起来，不是说6G显存就可以吗？我要怎么做，才能跑起来呢？

问题描述：
1、CPU及内存

   2、显卡

3、私有化部署修改cli_demo.py

4、运行cli_demo.py

[zRzRzRzRzRzRzR]

hf模型更新了吗，应该跑得起来的

[spar025]

跑起来了，多了个参数，device_map，删了就好了

[SHENGYUKing]

我这边遇到的问题还不太一样，我从modelscope上下载了chatglm3-6b（不是base）并成功在本地使用RTX3080采用INT4方案跑起来了，但是回答内容几乎没有任何逻辑、近乎乱码，请问遇到过类似情况吗？