02-PagedAttention 问题反馈

[cr7258]

[cr7258]

来自 b 站网友的问题：CUDA已经使用虚拟地址空间管理显存了，那为啥还需要PagedAttention解决显存碎片问题呢?

早期的 CUDA API 中的 cudaMalloc 不支持按需分页，它会同时为虚拟内存和物理内存分配空间，无法将虚拟地址和物理地址的分配解耦。这导致在 LLM 推理中动态扩展 KV cache 时，无法有效利用分散的显存片段，从而造成显存浪费和碎片化问题。

因此，PagedAttention 在用户空间实现了按需动态分配内存的能力，将 KV cache 分割成固定大小的 block，仅在需要时分配物理内存。但 PagedAttention 也带来了新的问题：由于 PagedAttention 动态分配的 block 在虚拟内存中的地址通常不连续，因此需要修改 Attention 算子的实现，以支持在非连续内存块上进行计算，从而增加了计算的复杂度。（PagedAttention 的分页机制对应用程序并不透明，应用程序必须显式处理这些非连续的内存块；而传统操作系统的分页机制则对应用程序是透明的，应用程序认为自己始终在访问连续的内存。）

虽然 CUDA VMM API 在 CUDA 10.2（2019 年 11 月）中就已引入，提供了细粒度控制虚拟和物理内存的能力，将显存的虚拟地址和物理地址的分配解耦，允许编程人员分别处理它们。但直到 2023 年左右，大家才开始使用这些底层 API。当时 PagedAttention 可能尚未考虑到这一机制，因此选择在用户空间自行实现按需动态分配内存的功能。

而新的 vAttention 正是利用了 CUDA VMM API 这一底层接口，通过 cuMemAddressReserve 预先分配一段连续的虚拟地址空间，再结合 cuMemCreate 和 cuMemMap 按需映射物理内存，实现了在保持 KV cache 虚拟地址连续性的同时，减少物理内存碎片化的关键特性，提供了更优雅的解决方案。

参考资料：

• 知乎问题：CUDA已经使用虚拟地址空间管理显存了，那为啥还需要PagedAttention解决显存碎片问题呢?
• [Feature]: Implement vAttention: Virtual Memory Management for KV Cache on NVIDIA GPUs
• [Hardware][Nvidia][Core][Feature] new feature add: vmm(virtual memory manage) kv cache for nvidia gpu
• vAttention: Dynamic Memory Management for Serving LLMs without PagedAttention