Skip to content

Release v3.6.0-alpha
Compare
Choose a tag to compare
@baisui1981 baisui1981 released this 01 Nov 09:42
v3.6.0-alpha
f5229c2

Abstract

经过几个月时间的开发TIS的v3.6.0版本终于要与大家见面了，v3.6.0着重在以下几方面进行了功能加强和升级。

  1. 对Apache Hudi Sink

    • 主键模型重新进行抽象，已经完全和Apache Hudi 主键模型匹配。
    • 为了支持Hudi能够支持三方包多版本多依赖，在TIS插件池中引入了插件多版本依赖，具体来说，在运行时可以选择Hudi版本所依赖的不同Hadoop依赖版本目前TIS中Hudi可以选择 Hadoop 2.7或者 Hadoop3.0。
    • 另外为云端用户加入了KerberOS设置项，使用大数据组件中为了网络安全需要，用户往往需要为组件访问开启KerberOS认证功能，为了简化添加该认证机制流程，3.6.0中添加了开启KerberOS认证功能

  2. 引入 Chunjun 来完善TIS Source/Sink 的端覆盖面 #139,
    在TIS的生态中以MySQL为例，如需以MySQL作为Source端，用户可以根据自身业务特点，可以选择 基于 Flink-CDC MySQL 插件或者基于 Chunjun 基于polling 策略实现的插件，两种插件各有特点，至于选择使用那种就取决于使用者自己的判断了。

    临近发布发现一个很有意思的使用场景，那就是用户可以选择基于Flink-CDC实现 MySQL插件来监听MySQL 表的增量变更来将数据同步到以 Chunjun 构建的 Sink端中去，这样的混搭使用方式给用户带来了更多的选择自由度，也避免了
    在Flink-CDC和Chunjun各自的框架内部重复造轮子从而造成生态内卷。

  3. 完善各个端（Source/Sink）的单元测试，由于添加到TIS生态中的数据端（Source/Sink）逐渐增多，每次发布无法通过人肉的方式把所有的端功能回归
    一遍，因此在v3.6.0版本中通过引入testcontainer将各中数据库进行Stub化，最大限度保证每次发布功能稳定。

Bug Fix

  • MySQL8 的Chunjun Source 执行datetime类型的数据映射出错#148
  • 定义Oracle数据源过程使用ServiceName连接方式导致找不到表#147
  • DataX 执行过程中，出错日志信息写入到了tis.log 中，没有打印到控制台执行日志中#146
  • TIS启动时访问 http://mirror.qlangtech.com/.../default.json 超时#145
  • error of create ftp source that is sink to mysql#143
  • mysql同步clickhouse，字段大写导致映射字段重复#141
  • mysql增量同步clickhouse部署异常#140
  • [clickhouse] mysql-> clickhouse 使用k8s 集群同步方式#134
  • [hudi]hudi DeltaStreamer 执行过程中tpi包并发修改出错#133
  • spark sql查询批量同步生成的hudi分区表会报错，而hive和presto查询正常#131
  • TIS平台自身的MySQL连接URL要加 useSSL=false 参数#130
  • MySQL增量同步到clickhouse带有dateTime字段存在问题#116
  • mysql8同步到es7.9.3版本date字段缺失"format"属性配置#114
  • CUDCDCTestSuit 单元测试assert阶段定义的 TIME 类型 从flink RowData取出早8个小时#22

New Feature

  • [feat] add to sink/source connector for customized selected tab properites#144
  • 利用Chunjun添加新的Source/Sink支持#139
  • 重构tis.pub文档结构#138
  • 去除tis-solrj-client 模块依赖#137
  • [starrocks][2.2版本] [兼容需求]sr从1.8版本升级到2.2后tis工作不正常需要tis调整对应的writer#132
  • [Hudi] keyGenerator可视化配置完善#128
  • [Clickhouse Sink] 目前不支持Delete 删除功能 #125
  • sink-starrocks 字段与对端校验不一致#113
  • TIs mysql的sink端插件暂未支持#110
  • 支持DDL同步列注释自动添加#91

Supported Source/Sink

https://tis.pub/docs/plugin/source-sink

Installation

  • TIS Package

    安装说明

    wget http://tis-release.oss-cn-beijing.aliyuncs.com/3.6.0-alpha/tis/tis-uber.tar.gz

  • TIS Flink Standalone Package
    安装说明

    wget http://tis-release.oss-cn-beijing.aliyuncs.com/3.6.0-alpha/tis/flink-tis-1.13.1-bin.tar.gz

Related Projects

Assets 2