Abstract
TIS的v4.0.0版本终于要与大家见面了，v4.0.0在以下几方面进行了功能加强和升级。
发布报告：https://www.bilibili.com/video/BV1eD421V78u/
- flink及相关组件全面升级到1.18版本，flink-cdc升级到3.0.1,chunjun也做相应版本升级
- 单节点执行方式扩展为分布式,
利用powerjob将单点datax任务扩展为分布式执行方式，支持同一时间在分布式环境中多个datax任务并行执行，从而大幅提升数据同步管道的执行效率， 并且提供基于powerjob的crontab定时任务触发方式，完美支持T+1离线数据采集任务。 - 分布式执行基础上将TIS全面支持kubernetes的CloudNative的部署模式，支持私有云和各大公有云场景下的部署。
- 优化了部署流程，TIS内操作涉及长时间等待操作，例如，发布基于flink的流式计算任务，包括多个子过程，如编译、打包、发布、等待等环节，需要等待一段时间。在新版本中引入了发布流程可视化的机制，将各个步骤的执行状态直观展示给用户。
New Feature
- mongodb 数据源认证方式#311
- Flink K8S Cluster启动附加loadbalance service Flink JobMaster报WARN信息#310
- TIS 整体部署容器化部署方案#309
- 将flink-cdc的MySQL校验MySqlValidator.checkVersion前置#306
- 添加flink连接同步timeout#298
- 添加基于Flink-cdc 实现的 Postgresql source端实现#291
- 实时同步无法使用“批量创建“#284
- 为TIS 各种端提供图标显示支持#275
- 建议在批量构建功能中增加定时任务，可以实现datax的定时全量和增量同步#255
- [feature] 添加flink 实例一览页面#213
- 升级flink相关组件到最新版本#168
- 支持批量任务分布式执行#157
- 支持TIS Flink 在K8S上运行#156
- 离线T+1 怎么定时？#97
Bug Fix
- 管道创建流程中更改端类型会出错#312
- k8s application 模式下SQL模式执行flink Job 出错#308
- 无法识别VARBINARY类型的字段列#296
- 终止任务bug#294
- [tis-flink-cdc-postgresql-plugin] java.lang.ClassCastException: java.sql.Timestamp cannot be cast to java.time.Instant#293
- 写入clickhosue时自动建表bug#292
- FTP方式找不到对应匹配的文件#289
- mysql->doris 增量执行streamload出错#285
- 分库分表同步报找不到表#283
- 整库同步时个别表有json类型字段下游create table ddl报错#280
- plugin 进行校验过程中错误被遮蔽#277
- MySQL CDC Source 异常恢复消费位点异常#274
- flink rest api client 解析服务端返回的结果有类无法反序列化#268
Installation
- TIS Package 安装说明
- TIS Flink Standalone Package 安装说明
- TIS Zeppeline NoteBook Installation安装说明