2颗Intel(R) Xeon(R) Gold 6326 CPU @ 2.90GHz，ddr4类型的512内存，两块A10，只能达到6tokens/s,如何优化

[c651578372]

2颗Intel(R) Xeon(R) Gold 6326 CPU @ 2.90GHz，ddr4类型的512内存，两块A10，跑了deepseek-r1 Q4精度的模型，使用DeepSeek-V3-Chat-multi-gpu.yaml优化文件，只能达到6tokens/s，两块显存目前才各利用6G多显存如何优化才能提升性能？

[CodeZ-Hao]

限制仅允许使用一块GPU对性能应当会有改善（参考文档修改环境变量或docker参数，或者仅安装1 pcs），
此外，你的瓶颈显然在内存带宽，由于你的内存容量并不足以在两个cpu上各加载一份模型（需要占用双倍内存，提升输出效率约30%），因此这方面除非更换硬件，否则并没有较大提升的可能。
如果可以接受降低精度，你可以使用Q2.51量化的模型，你的内存足够在这个模型上使用跨节点优化（好像是NUMA=1参数），输出效率应当能达到12tokens/s

[JennieGao-njust]

v0.2.4版本 如果要提升性能，目前是500G内存 500G硬盘， 4张L20（目前只能用上一张） 要提升decode的速率， 瓶颈也是内存吗

[CodeZ-Hao]

你可以试试多GPU的配置文件，在并发场景下吞吐量应该会有提升，但单路输出的瓶颈应当还是在内存，因为内存带宽赶不上PCIE带宽，推理过程中GPU大部分时间都是在等内存部分计算

[JennieGao-njust]

你可以试试多GPU的配置文件，在并发场景下吞吐量应该会有提升，但单路输出的瓶颈应当还是在内存，因为内存带宽赶不上PCIE带宽，推理过程中GPU大部分时间都是在等内存部分计算

看了一下 issue里 有个#1117 好像v0.2.4 支持不了

[c651578372]

我的这个使用单gpu跑的时候内存总共只占用了72G，不知道是不是我哪里设置的不对
ktransformers
--model_name DeepSeek-R1
--api_key 247257be-6cf7-477a-ae53-bacc32eb9170
--model_path /models/DeepSeek-R1-GGUF/DeepSeek-R1-Q4_K_M
--gguf_path /models/DeepSeek-R1-GGUF/DeepSeek-R1-Q4_K_M
--optimize_config_path /workspace/ktransformers/ktransformers/optimize/optimize_rules/DeepSeek-V3-Chat-serve.yaml
--cpu_infer 50
--chunk_size 256
--max_new_tokens 4096
--cache_q4 true
--cpu_infer 50
--port 31002

[CodeZ-Hao]

1. 你的 /models/DeepSeek-R1-GGUF/目录下是否下载了deepseek的分词器等配置文件？如果没有，请去deepseek官方仓库里将除.safexx以外的文件下载到你的目录中；
2. 你使用的是否为0.2.4版本？如果是的话，model_path需要以DeepSeek-R1结尾；
   按理来说你前面能跑通，应该不存在这些问题，但是看你的运行命令有点奇怪。
   这是我的运行命令供你参考：
   python ktransformers/server/main.py
   --port 1234
   --model_path /models/R1Config/DeepSeek-R1
   --gguf_path /models/DeepSeek-R1-Q4_K_M/
   --model_name deepseek-r1
   --optimize_config_path ktransformers/optimize/optimize_rules/DeepSeek-V3-Chat-serve.yaml
   --max_new_tokens 16384
   --cache_lens 65536
   --chunk_size 256
   --cache_q4 true
   --max_batch_size 4
   --force_think
   --backend_type balance_serve

[JennieGao-njust]

就是这样的 在buff cache里

[c651578372]

我测试一下这个参数