dble日志中频繁出现“Please pay attention to whether it is a memory leak”，怎么处理？

[PanternBao]

dble日志中总是频繁出现下面的日志：

Please pay attention to whether it is a memory leak. The maximum size of the DirectByteBufferPool that can be allocated at one time is {}, and the size that you would like to allocate is {}
如下：

也可能出现：

You may need to turn up page size. The maximum size of the DirectByteBufferPool that can be allocated at one time is {}, and the size that you would like to allocate is {}

有什么影响？如何解决？

[PanternBao]

前置知识

java程序的内存：

• 堆内存（虚拟机自己管理）
• 堆外内存（内存直接受操作系统管理，而不是虚拟机）

使用堆外内存的优点：

1. 减少了垃圾回收
   因为垃圾回收会暂停业务线程的工作。
2. 加快了复制的速度
   堆内在flush到远程时，会先复制到直接内存（堆外内存），然后再发送；而使用堆外内存相当于省略掉从堆复制到堆外这一步。

虽然有上面的优点，但是对堆外内存的管理也都交给了程序（dble），这部分管理也是不易的，可能会导致堆外内存的泄露。

关于dble中的内存管理：

• 参考文档：https://github.com/actiontech/dble-docs-cn/blob/master/2.Function/2.07_memory_manager.md
• dble中堆外内存的 bufferPoolChunkSize，bufferPoolPageNumber，bufferPoolPageSize之间的关系，参考上面文档

处理 “You may need to turn up page size. ”

• 日志中出现上面描述的“You may need to turn up page size. ”提示，说明执行sql时一次申请的太多了（比如行数据太大，sql太长等等），超过了dble的bufferPoolPageSize的大小，dble不能分配连续的堆外内存。在此种情况下，dble不会使用到堆外内存，转而使用堆内存，因此，将丧失了堆外内存的优势，因此，对性能方面会有影响。此时，按需调整 bufferPoolChunkSize，bufferPoolPageNumber，bufferPoolPageSize参数，如何调整以及参数的关系，参照下文。

处理 “Please pay attention to whether it is a memory leak. ”

排查堆外内存使用情况

可以通过下面的指令查看堆外内存的使用情况：

show @@directmemory

命令详细参考：https://github.com/actiontech/dble-docs-cn/blob/master/2.Function/2.1_manager_cmd/2.1.03_show.md#21330--show-directmemory

• 如果 DIRECT_MEMORY_POOL_USED 使用量很大，达到或超过DIRECT_MEMORY_POOL_SIZE，那可能是堆外内存泄露，请联系dble官方寻求帮助。
• 如果是上述情况，先判断配置文件中的 MaxDirectMemorySize 参数是不是太小了，可调大之后看日志的频率是否会降低。
• 如若不会请提供dble日志，wrapper日志，以及dble的dump文件

bufferPoolChunkSize，bufferPoolPageNumber，bufferPoolPageSize参数关系

1. dble 分配顺序：连续chunk -> page（n * chunk <= page） -> 堆内存。bufferPoolChunkSize请最好设为bufferPoolPageSize 的约数，否则会造成浪费，它们的关系为 bufferPoolPageSize = N * bufferPoolChunkSize，DirectByteBufferPool 大小 = bufferPoolPageNumber*bufferPoolPageSize，调整完了注意 DirectByteBufferPool的大小
2. 此种情况，用户可以调整bufferPoolChunkSize，bufferPoolPageNumber，bufferPoolPageSize的大小。