如何让mongo db cdc 能接着从最后一次成功的数据点开始同步数据 #1953
Unanswered
ai-heart-shuibei
asked this question in
Q&A
Replies: 0 comments
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Uh oh!
There was an error while loading. Please reload this page.
-
各位好!
由于我能力有限,在我使用 flink-connector-mongodb-cdc:2.2.1 时遇到了问题, 在此请教大家.
我使用的IDE 是 idea
目前, 我可以通过提交flink任务将我监听的mongo数据表的存量数据和增量数据同步到kafka中.
但是我还想达到更加定制化的功能, 请各位大佬伸出援手:
1 当我关闭flink集群(或者在idea 中关闭我的任务)之后, 我再次启动集群和任务, 我想让我的任务接着从最后一次成功的checkpoint位置继续执行,
但是经过我的尝试没有成功, 他总是会将我提交的任务当作一个新任务, 然后重新同步所有我已经同步过的数据.
2 我新增同步一个表的数据的时候, 已经同步过的表不需要全量同步数据.
由于问题1的存在, 我新增表之后,每个表都会先同步存量数据,然后同步增量数据.
在此先谢谢大佬~~
Beta Was this translation helpful? Give feedback.
All reactions