启用GPU索引时，GPU内存池的作用是什么？ #46905
Answered
by
marcelo-cjl
fox0001
asked this question in
Q&A and General discussion
启用GPU索引时，GPU内存池的作用是什么？
#46905
-
环境
概述
疑问
|
Beta Was this translation helpful? Give feedback.
Answered by
marcelo-cjl
Feb 10, 2026
Replies: 3 comments 21 replies
-
|
initMemSize是milvus启动时就预先划了一块显存，其他进程不能使用这块显存，只能milvus使用。 很简单，打个比方，你这张显卡有48个车位(48GB)，milvus公司先占用了2个作为自己的固定车位，如果milvus公司2个车位(2GB)不够用，它就会申请获得更多的车位，但最多它只能获得4个车位(4GB)。其他的车位随便其他公司或者社会车辆使用。 “While there is no set limit for GPU_BRUTE_FORCE, it is recommended not to exceed 4,096 to avoid potential performance issues.” ------------ 这里说的 "limit"是指topk，就是search时指定要返回的结果集个数。不是指的maxMemSize |
Beta Was this translation helpful? Give feedback.
9 replies
-
|
我的理解是因为索引建不出来，growing无法替换，写满了8G了。 最好能提供一下日志看看 |
Beta Was this translation helpful? Give feedback.
-
|
因为走的FLAT，逻辑上不应该存在索引建不出来 |
Beta Was this translation helpful? Give feedback.
-
是不是可以这样理解？
|
Beta Was this translation helpful? Give feedback.
-
GPU_BRUTE_FORCE实际上是FLAT索引，也就是暴搜，其实没有索引，向量数据原封不动地加载进显存，搜索时每条向量都计算distance。 |
Beta Was this translation helpful? Give feedback.
-
这个解析其实已经回答了标题的问题，但我们面对的问题是GPU索引生成失败。 @xiaofan-luan 相关的错误信息如下，这段日志一直在 相关时间内的 http://project-xxx-milvus-standalone:9091/api/v1/_dc/tasks/build_index 的结果： 对于以上日志，我的理解和疑问是：
|
Beta Was this translation helpful? Give feedback.
-
|
maxMemSize 用于build索引和搜索的临时占用，建议segment不要太大，控制在1GB左右，然后至少保留16GB内存用于索引构建，剩余的显存会用来加载数据本身 |
Beta Was this translation helpful? Give feedback.
5 replies
-
|
但是你用FLAT索引，建索引应该非常快。 |
Beta Was this translation helpful? Give feedback.
-
|
日志等级是warn。我把时间推前一下，在第一次报“GPU内存池”不足错误的时间点再前一点，Milvus的日志没什么特别。
详细日志： |
Beta Was this translation helpful? Give feedback.
-
|
日志里说current/max/try size = 7.445745 GiB, 8.003906 GiB, 1.193739 GiB，也就是它的上限是8GB，当前使用了7.445GB，想要分配1.19GB。 |
Beta Was this translation helpful? Give feedback.
-
|
另外，这张表有十几个字段，恐怕除了向量字段之外，还存在长字符串字段，800万条数据load时所需的显存可能会高于预期值(甚至超过48GB)。所以我之前说最好用100万级别的数据试验一下。 |
Beta Was this translation helpful? Give feedback.
-
你的回复提到segment的大小，我们做了个测试，把segment设为512MB（原来是默认的1GB），不断插入和查询都没问题。 我想问，这里检查“GPU内存池”是否有可用空间的代码是不是有问题？有没有可能把segment设为512MB，实现了“卡bug”？ “current/max/try size = 7.445745 GiB, 8.003906 GiB, 1.193739 GiB”，从这个信息来看，可用空间大于512MB但小于1GB（即0.558161 GiB）。把segment设为512MB后，判断可用空间足够，所以能执行build index。这个想法是否正确？ |
Beta Was this translation helpful? Give feedback.
-
|
@fox0001 当前gpu索引的load和search过程都走了内存池，load需要把源数据加载到gpu显存上，和官方文档上的说明会有些出入，所以需要估算一下源数据量大小，maxMemSize要比这个值更大。 |
Beta Was this translation helpful? Give feedback.
7 replies
-
这个案例中，如果数据不更新，查询没有问题。前面也提到了，“GPU内存池”与GPU索引数据是两个空间，互不干扰。 |
Beta Was this translation helpful? Give feedback.
-
|
standalone模式有点特别，search前的load不走内存池，search后的build和load都走内存池(更新后会触发这个)，你可以理解为当前实现有点问题，目前来说调大了可以规避这个问题。后面会调整gpu的显存管理策略，也会有相应的更新文档。 |
Beta Was this translation helpful? Give feedback.
Answer selected by
fox0001
-
非常感谢，终于蹲到个靠谱的回复。我们目前把segment设为512MB，好像能避免问题。期待你们发版。 |
Beta Was this translation helpful? Give feedback.
-
@marcelo-cjl @xiaofan-luan 补充一下，把segment设为512MB，我们测试过还是不能根治问题，但暂时延缓了问题的发生。由于显卡的显存限制，目前只能定时（隔几天）或者出现问题，重启Milvus。还是只能等待你们更新了。 |
Beta Was this translation helpful? Give feedback.
-
听起来感觉有泄漏，@marcelo-cjl 我们需要一个long running test来验证内存水位 |
Beta Was this translation helpful? Give feedback.
-
|
@fox0001 我确认一下，milvus.yaml里面的maxMemSize这个值当前是调到了多少，调整后有重启吗 |
Beta Was this translation helpful? Give feedback.
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
standalone模式有点特别，search前的load不走内存池，search后的build和load都走内存池(更新后会触发这个)，你可以理解为当前实现有点问题，目前来说调大了可以规避这个问题。后面会调整gpu的显存管理策略，也会有相应的更新文档。