Skip to content

Latest commit

 

History

History
136 lines (111 loc) · 3.12 KB

Postgres-CDC.md

File metadata and controls

136 lines (111 loc) · 3.12 KB

MySQL Postgres CDC Source

一、介绍

Postgres CDC 插件实时地从Postgres中捕获变更数据。目前sink插件暂不支持数据还原,只能写入变更的日志数据。

二、支持版本

Postgres 10.0以上

三、插件名称

Sync pgwalsource、pgwalreader
SQL pgwal-x

四、数据库配置

1、修改配置文件

pgwal_format需要修改为 ROW 格式,在/etc/my.cnf文件里[mysqld]下添加下列配置

server_id=109
log_bin = /var/lib/mysql/mysql-bin
binlog_format = ROW
expire_logs_days = 30

五、参数说明

1、Sync

  • url

    • 描述:数据库的jdbc连接字符串
    • 必选:是
    • 字段类型:string
    • 默认值:无
  • username

    • 描述:数据源的用户名
    • 必选:是
    • 字段类型:string
    • 默认值:无
  • password

    • 描述:数据源指定用户名的密码
    • 必选:是
    • 字段类型:string
    • 默认值:无
  • databaseName

    • 描述:数据源数据库名称
    • 必选:是
    • 字段类型:string
    • 默认值:无
  • tableList

    • 描述:需要解析的数据表。
    • 注意:指定此参数后filter参数将无效,table和filter都为空,监听jdbcUrl里的schema下所有表
    • 必选:否
    • 字段类型:list
    • 默认值:无
  • slotName

    • 描述:slot 名称
    • 必选:否
    • 字段类型:String
    • 默认值:true
  • allowCreated

    • 描述:是否自动创建slot
    • 必选:否
    • 字段类型:boolean
    • 默认值:false
  • temporary

    • 描述:是否是临时的slot
    • 必选:否
    • 字段类型:boolean
    • 默认值:false
  • statusInterval

    • 描述:心跳间隔
    • 必选:否
    • 字段类型:int
    • 默认值:10
  • lsn

    • 描述:位点信息
    • 必选:否
    • 字段类型:long
    • 默认值:0
  • slotAvailable

    • 描述:slot是否可用
    • 必选:否
    • 字段类型:boolean
    • 默认值:false

六、数据类型

支持 BIT
NULL、 BOOLEAN、 TINYINT、 SMALLINT、 INTEGER、 INTERVAL_YEAR_MONTH、 BIGINT
INTERVAL_DAY_TIME、 DATE、 TIME_WITHOUT_TIME_ZONE
TIMESTAMP_WITHOUT_TIME_ZONE、 TIMESTAMP_WITH_LOCAL_TIME_ZONE、 FLOAT
DOUBLE、 CHAR、 VARCHAR、 DECIMAL、 BINARY、 VARBINARY
暂不支持

七、脚本示例

见项目内chunjun-examples文件夹。