milvus2.5.23 resource group不同query node的内存使用率差异大

[zhu3359]

使用milvus2.5.23部署了分布式集群，从所有querynode中圈出4个生成一个resource group，在这个resource group中写入了8个collection，有一个最大的collection大概450w数据，其他的基本都是几十万级别，在这个resource group load 这8个collection并且指定replica_number = 3,加载完成后发现有两个node内存使用率很高，快是另外两个的2倍了（83.8G vs 46.6G），想问下为什么内存使用率差别这么大，有没有memory load balance 的方法

[yhmo]

观察QueryNode的Segment Loaded Num, Collection Loaded Num, Queryable Entity Num这几个指标。其中Queryable Entity Num里分别列举了各个querynode的growing和sealed数量，把这几个指标截图看一下

[zhu3359]

@yhmo 是不是可以理解为先用 querynode 的数量除以 replica_num 取整算出每个副本可以由几个node加载，比如querynode=4, replica_num=3，则每个副本使用的querynode数量=int(4/3)=1，但是最后一个副本可以使用剩下的所有的node；querynode=4, replica_num=2，则每个副本使用的querynode数量=int(4/2)=2，每个副本都可以加载到两个query node上，每个replica包含的N个segment可以在对应的两个query node中尽量分布均匀

[yhmo]

@yhmo 是不是可以理解为先用 querynode 的数量除以 replica_num 取整算出每个副本可以由几个node加载，比如querynode=4, replica_num=3，则每个副本使用的querynode数量=int(4/3)=1，但是最后一个副本可以使用剩下的所有的node；querynode=4, replica_num=2，则每个副本使用的querynode数量=int(4/2)=2，每个副本都可以加载到两个query node上，每个replica包含的N个segment可以在对应的两个query node中尽量分布均匀

基本上就是这样

[zhu3359]

@yhmo 是不是可以理解为先用 querynode 的数量除以 replica_num 取整算出每个副本可以由几个node加载，比如querynode=4, replica_num=3，则每个副本使用的querynode数量=int(4/3)=1，但是最后一个副本可以使用剩下的所有的node；querynode=4, replica_num=2，则每个副本使用的querynode数量=int(4/2)=2，每个副本都可以加载到两个query node上，每个replica包含的N个segment可以在对应的两个query node中尽量分布均匀

基本上就是这样

这样确实对querynode数量不是replica_num倍数的情况不友好，如果有collection比同resource group 其他collection数据量大很多容易有木桶效应，有没有可能从每个segment角度出发，保证同一个segment的不同副本分布在不同node上，然后尽量平衡不同node加载的segment的数量，感觉这样能达到全局balance

[yhmo]

如果以segment优先，那么就有可能出现多个副本共用一个querynode的情况，一个querynode挂了会导致多个副本无法工作。

[zhu3359]

又遇到一个跟内存相关的问题：
先创建了一个空collection，然后load到指定resource_group，插入490w数据，然后再load一次并指定replica_number = 3（还是在这个指定的resource group）,在attu上看副本数量正确，但是从segment tab看每个segment只对应一个查询节点；内存指标比较奇怪，把这个collection从指定resource group 转移load到default resource group（两个resouce group都包含四个querynode），同样限定replica_number = 3, 指定resource group内存的下降幅度(95.1G)比default resource group的上涨幅度(210G)要小很多,从上面讨论的过程看default resource group的内存指标好像更符合预期（有两个节点内存几乎是另外两个的2倍），是不是在原来指定resource group中没有真正的加载3个副本？查询节点数量和内存指标都不太符合预期

<style> </style>

指定resource group				default reource group
nodeid	转移前内存(GB)	转移后内存(GB)	diff(GB)	nodeid	转移前内存(GB)	转移后内存(GB)	diff(GB)
node1	56.1	30.2	25.9	node1	1	71	70
node2	43.7	22	21.7	node2	1	34.6	33.6
node3	45.7	21.3	24.4	node3	1	37.4	36.4
node4	50	26.9	23.1	node4	1	71	70
total_diff			95.1				210

[xiaofan-luan]

1. replica建议是querynode整数，分不过来的时候没有办法
2. 2.5应该没有load refresh功能，也就是说你更新replica应该是不生效的

[zhu3359]

1. replica建议是querynode整数，分不过来的时候没有办法
2. 2.5应该没有load refresh功能，也就是说你更新replica应该是不生效的

好的 我调整下querynode数量，对于2提到的，应该怎么做比较合理呢，所有数据insert结束后统一load到指定resource_group并且指定replca_num吗？