2.7.6 Release 显存少了但是速度慢了

[ojslee]

2.7.6 Release我使用了vlm-auto-engine 显存只用了6G，比以前16G少了很多。 但是速度变慢了~ 是什么原因，可以调参数吗？

[dosubot[bot]]

2.7.6 版本显存降低但速度变慢是一个设计权衡。这个版本默认禁用了 chunked prefill 和 prefix caching，这会减少显存占用，但也会降低推理速度：

• 禁用前缀缓存：模型需要重新计算之前见过的序列，无法复用缓存
• 禁用分块预填充：处理输入的效率降低

恢复速度的方法：可以尝试重新启用这些优化（会增加显存使用）：

magic-vlm --engine vllm --enable-chunked-prefill --enable-prefix-caching --gpu-memory-utilization 0.8

也可以调整 --gpu-memory-utilization 参数提高显存利用率（默认 0.5，可提高到 0.7-0.8）来提升性能。

另外，如果你需要更好的性能，推荐使用双进程模式：部署 mineru-vllm-server + 使用 vlm-http-client 后端，这种架构只加载一次模型，效率更高。

To reply, just mention @dosu.

---

^{How did I do? Good | Irrelevant | Incorrect | Verbose | Hallucination | Report 🐛 | Other}