Skip to content

基于mysql的binlog使用flinkcdc实现数据的实时同步,支持mysql-doris、mysql-oracle,任务支持自定义多表映射、字段映射 等

Notifications You must be signed in to change notification settings

X1304951263/flinkcdc-multi-source2sink

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

14 Commits
 
 
 
 
 
 
 
 
 
 

Repository files navigation

该项目是使用datastream来实现实时同步,而不是flinksql,由于flinksql需要写大量sql且不够通用化,所以采用datastream来高度自定义统一的任务模版,只需要改变参数即可实现任何mysql-oracle的同步功能

flinkcdc多表实时同步任务代码,打包成jar包后,可以作为flink任务运行,部署在flink单机、集群或者flink-on-yarn

前提条件:mysql开启binlog

功能简介:任务可以实现数据源与目标源的多表之间的表名的映射以及字段的映射来同步数据(不做映射配置则目标表名字段名和源表表名字段名一致),其中source不会锁表,且代码保证数据的一致性、顺序性、断点恢复功能,自动清表功能等

任务启动命令:

./bin/flink run ./flinkcdc-mysql2oracle-SNAPSHOT.jar
--job_name 任务名称
test
--source_host 数据源主机
127.0.0.1
--source_port 数据源端口
3306
--source_username 数据源账号
root3
--source_password 数据源密码
xw123456
--source_database 数据源数据库
flinkcdc
--source_table 同步的表列表,多表之间用逗号隔开
user
--sink_host 目标源主机
xx.xx.xx.xx
--sink_port 目标源端口
1521
--sink_username 目标源账号
ods
--sink_password 目标源密码
ODS#0903
--sink_database 目标源数据库
rodsdb
--sink_schema 目标源模式
ODS
--intervals 数据刷新间隔ms
3000
--batch_size 数据批次大小
8096
--operation 启动任务(restart是断点恢复任务)
start

About

基于mysql的binlog使用flinkcdc实现数据的实时同步,支持mysql-doris、mysql-oracle,任务支持自定义多表映射、字段映射 等

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages