AMD GPU跑Deepseek-V3-0324-Q2_K_XL內存使用非常少的問題

[AlphaKure]

硬體規格：

• CPU: AMD Ryzen Threadripper PRO 7995WX
• GPU: AMD Radeon PRO W7900 Dual slot 48GB
• RAM: 96GB DDR5 RDIMM*4

軟體規格：

• OS: Ubuntu-22.04.5
• ROCM: 6.3
• Pytorch version: 2.8.0.dev20250319+rocm6.3
• ktransformers version: 0.2.3.post2+rocm610torch28fancy

使用模型: unsloth/DeepSeek-V3-0324-GGUF Q2_K_XL量化版本 已用llama cpp合併

使用指令: python local_chat.py --model_path deepseek-ai/DeepSeek-V3-0324 --gguf_path ~/model/GGUF/DeepseekV3/ --optimize_config_path optimize/optimize_rules/rocm/DeepSeek-V3-40G.yaml --cpu_infer 94

optimize_config 參考USE AMD GPU魔改DeepSeek-V3-Chat.yaml

VRAM使用量為32GB DRAM只用了15GB

eval token只有5.115

這樣的結果應該不太正常？

[cyhasuka]

1. ROCm 平台不支持 Marlin 算子，速度理论上会低于支持该算子的 NV GPU
2. 可以看下 cached memory 占用，cached + used 才是真实使用的内存。或者 htop 中看下对应进程的 MEM% ，该值乘以总内存大小即为使用的内存。