Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

建议在批量构建功能中增加定时任务，可以实现datax的定时全量和增量同步 #255

Closed
charlesqing opened this issue Aug 15, 2023 · 4 comments
Closed

建议在批量构建功能中增加定时任务，可以实现datax的定时全量和增量同步 #255

charlesqing opened this issue Aug 15, 2023 · 4 comments
Labels
enhancement New feature or request
Projects
TIS Work Plan
Milestone
v4.0.0

Comments

@charlesqing
Copy link

并不是所有的业务需求都需要实时同步的，所以建议在批量构建功能中增加定时任务，可以实现datax的定时全量和增量同步，这样可以减轻服务器的任务压力
@JiaLiangC
Copy link

赞同！

@baisui1981
Copy link
Member

baisui1981 commented Aug 17, 2023 •
edited

并不是所有的业务需求都需要实时同步的，所以建议在批量构建功能中增加定时任务，可以实现datax的定时全量和增量同步，这样可以减轻服务器的任务压力

你说的有道理，使用datax实现定时增量同步，这样可以让业务方更低成本实现数据同步，且不需要使用flink，运维成本会大幅降低，这个会在下个版本中实现

@JiaLiangC @charlesqing 可以留一下微信账号不？ 届时可以邀请你参与该功能测试

@charlesqing
Copy link
Author

并不是所有的业务需求都需要实时同步的，所以建议在批量构建功能中增加定时任务，可以实现datax的定时全量和增量同步，这样可以减轻服务器的任务压力

你说的有道理，使用datax实现定时增量同步，这样可以让业务方更低成本实现数据同步，且不需要使用flink，运维成本会大幅降低，这个会在下个版本中实现

@JiaLiangC @charlesqing 可以留一下微信账号不？ 届时可以邀请你参与该功能测试

作者您好，已经加您微信了

@baisui1981 baisui1981 added this to the v4.0.0 milestone Aug 30, 2023
@baisui1981 baisui1981 added the enhancement New feature or request label Aug 30, 2023
@baisui1981 baisui1981 added this to To do in TIS Work Plan Oct 18, 2023
@baisui1981
Copy link
Member

不意见使用dataX 来实现增量，实现之后无法参与基于流的算子计算，可以使用flink来实现基于poll机制的增量同步

@baisui1981 baisui1981 closed this as not planned Won't fix, can't repro, duplicate, stale Feb 28, 2024
TIS Work Plan automation moved this from To do to Done Feb 28, 2024
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Assignees
No one assigned
Labels
enhancement New feature or request
Projects
TIS Work Plan
  
Done
Milestone
v4.0.0
Development

No branches or pull requests
3 participants
@JiaLiangC @baisui1981 @charlesqing