Skip to content

[Feature] CDC support Yaml configuration and multiple source Datasources #4597

@melin

Description

@melin

Search before asking

  • I searched in the issues and found nothing similar.

Motivation

40多个库(每个库一个rds 实例),1000+表, 但每天增量数据只有100万+。目前已经使用aws dms 工具,从mysql 同步数据到redshift ,dms使用4台2c16g 机器资源。
计划迁移到Paimon数据湖方案,CDC 不支持多数据源,每个库一个任务,需要资源量比较大。增量数据不算大,希望多个数据源合并在一个任务中,减少资源消耗(云上用户,对资源非常敏感)。建议支持yaml 配置,方便维护任务。

每一个数据源创建一个mysql cdc DataStream, 最后union 输出一个DataStream,实现多个数据源采集。
image

Solution

No response

Anything else?

No response

Are you willing to submit a PR?

  • I'm willing to submit a PR!

Metadata

Metadata

Assignees

No one assigned

    Labels

    enhancementNew feature or request

    Type

    No type
    No fields configured for issues without a type.

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions