max-batch-size对显存占用的影响

[idontlikelongname]

使用W4A16量化后的Meta-Llama-3.1-70B-Instruct，在H800-80G测试模型吞吐量，使用脚本benchmark/profile_throughput.py。concurrency分别等于16和128时，GPU显存占用并没有明显的区别。
请问为什么会产生这种现象，我理解显存占用量与bath size的大小近似线性增长，从实际表现上看好像并不是这样。
请问Autoregression类模型的显存占用和batch size之间是什么关系？

[lvhan028]

不是线性增长的关系，和 batch size 无关。
可以看下 https://lmdeploy.readthedocs.io/en/latest/get_started/get_started.html 中 Note 部分关于内存分配策略的说明。

[idontlikelongname]

请问我上述的理解是否正确，同时我注意到LMDeploy的配置中，KV缓存的长度似乎被设置成64？

[lvhan028]

“例如对于16位精度的LLama2-7B模型，如果batch=16，则KV缓存的大小为128x4096x2x32x4096x2，即32GB。”
计算公式和batch无关
没看懂这个大小是怎么来的。
num_heads 表示 kv head 的数量，dim_head表示 kv head 的dim，目前 turbomind engine只支持了 128

“KV缓存的长度似乎被设置成64”
是的。一个 KV block 对应的是 cache_block_seq_len 个 token的 kv 缓存，它的默认值是 64

[idontlikelongname]

batch size等于128
token长度等于4096
num_layers等于32
num_heads * dim_head 等于 hidden_size，4096
precision_in_bytes，fp16等于2
这是我对这几个参数的理解。

[lvhan028]

again, 和batch size 无关。和要存的token数量有关

[idontlikelongname]

抱歉再次打扰。
LMDeploy有预留显存的机制，通过cache-max-entry-count设置预留显存的大小，所以实际显存占用量与batch size没有关联。
可是如果cache-max-entry-count，KV cache的显存占用与batch size之间是什么关系呢？
目前实际测试下来的结果如下：
模型参数和配置：LLama-3.1-70B-INT4模型，quant-policy=4，batch size每增加1，显存占用增加1MB（比较粗略的估算）
但是上述数据增长的比例，我无法用一个准确的数学关系将显存增长与模型参数关联起来。

请问能提供一些关于问题的思路吗？