Search before asking
Motivation
40多个库(每个库一个rds 实例),1000+表, 但每天增量数据只有100万+。目前已经使用aws dms 工具,从mysql 同步数据到redshift ,dms使用4台2c16g 机器资源。
计划迁移到Paimon数据湖方案,CDC 不支持多数据源,每个库一个任务,需要资源量比较大。增量数据不算大,希望多个数据源合并在一个任务中,减少资源消耗(云上用户,对资源非常敏感)。建议支持yaml 配置,方便维护任务。
每一个数据源创建一个mysql cdc DataStream, 最后union 输出一个DataStream,实现多个数据源采集。

Solution
No response
Anything else?
No response
Are you willing to submit a PR?
Search before asking
Motivation
40多个库(每个库一个rds 实例),1000+表, 但每天增量数据只有100万+。目前已经使用aws dms 工具,从mysql 同步数据到redshift ,dms使用4台2c16g 机器资源。
计划迁移到Paimon数据湖方案,CDC 不支持多数据源,每个库一个任务,需要资源量比较大。增量数据不算大,希望多个数据源合并在一个任务中,减少资源消耗(云上用户,对资源非常敏感)。建议支持yaml 配置,方便维护任务。
每一个数据源创建一个mysql cdc DataStream, 最后union 输出一个DataStream,实现多个数据源采集。

Solution
No response
Anything else?
No response
Are you willing to submit a PR?