怎么设置 kv cache int8 量化， 但 a 和 w 仍然是f16，测试 kvcache 量化的收益

[seeyourcell]

[Alcanderian]

KVcache量化需要使用ppl.pmx导出kvcache量化的模型，目前ppl.nn.llm并不支持没有kvcache量化的模型

参考：
https://github.com/openppl-public/ppl.pmx/tree/master/model_zoo/llama/facebook#export

[seeyourcell]

KVcache量化需要使用ppl.pmx导出kvcache量化的模型，目前ppl.nn.llm并不支持没有kvcache量化的模型

参考： https://github.com/openppl-public/ppl.pmx/tree/master/model_zoo/llama/facebook#export

quant-method: online_i8i8

只是权重和激活量化了？ 还是 权重和激活量化 + kv cache 量化

[Alcanderian]

KVcache量化需要使用ppl.pmx导出kvcache量化的模型，目前ppl.nn.llm并不支持没有kvcache量化的模型
参考： https://github.com/openppl-public/ppl.pmx/tree/master/model_zoo/llama/facebook#export

quant-method: online_i8i8

只是权重和激活量化了？ 还是 权重和激活量化 + kv cache 量化

这个开关只控制linear层的权重+激活量化，KVcache量化只能在导出模型时进行控制

[Ageliss]

哥，online_i8i8跑不通啊