Replies: 1 comment
-
|
flink 版本 1.17.0，运行方式flink on yarn,hadoop版本 3.2.4，jobmanager内存8g，taskmanager内存4g |
Beta Was this translation helpful? Give feedback.
0 replies
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Uh oh!
There was an error while loading. Please reload this page.
-
同步mysql全库的所有表，使用flink cdc，总的表有几百张，有些表数据量达到几千万，还有表的主键类型多样，不统一，有的是uuid，有的是复合主键，在执行snapshot阶段的时候，jobmanager的heap占用很大，经常跑了一段时间以后出现内存溢出，splitSize设置的16384，batchSize设置的1024，source并行度是1，请问下jobmanager的heap里存的主要是什么数据呢？应该采取些什么手段优化一下呢？
Beta Was this translation helpful? Give feedback.
All reactions