Skip to content

Release v4.2.0

Choose a tag to compare

View all tags
@baisui1981 baisui1981 released this 07 May 08:49
v4.2.0
43fddd5

Abstract

TIS的v4.2.0版本终于完成了开发，v4.2.0在以下几方面进行了功能加强和升级。https://github.com/datavane/tis/milestone/8?closed=1

  1. 在v4.1.0发布后，用户使用过程中发现的一些bug及缺陷进行修复
  2. 针对本地CSV文件导入到hive数仓中无法设置主键这一问题进行改造，添加了自动生成主键的Transformer功能
  3. 对离线分析功能进行了完善，由于之前版本中添加了别名表及Transformer功能，并且由于离线分析EMR没有进行全面回归测试，在v4.1.0版本中不可用，在此版本中进行了修复并且成功经过全链路集成测试
  4. 针对SqlServer数据库监听获取到的同步时间会比数据库实际时间晚8个小时进行了改造，确保两者时间一致。

New Feature

  • 非RDBMS->RDBMS，如果原表中无主键，添加一个功能：自动生成一个自增主键#433
  • TDFS(Local Files) 同步数据到 Hive 任务报错#432
  • 建议优化DataX脚本、Table DDL Script的展示列表#430
  • 单个DataX执行任务可设置超时时间#427
  • DS调度tis任务时，出现OOM错误#417
  • 实时同步希望增加过滤（例如：filter delete类型事件）某类事件功能#415
  • com.microsoft.sqlserver.jdbc.SQLServerException: 不支持“variant”数据类型#412
  • 版本4.0.0，MSSql-->doris，多个任务在同一时间的定时同步任务均会失败。#394

Bug Fix

  • SqlServer -> MySQL 增量，起始位点使用Initial，报异常：Caused by: java.lang.IllegalStateException: invalid op:READ#438
  • 从sqlserver2016增量数据同步到pg13时，时间列会加8小时。#437
  • 创建 Hive数据源时时候，支持指定路径HDFS路径与dbName不一致#436
  • 建表任务和DataX任务都执行成功，但是表中没数据，报错：table ftp_datax shall have create in 'createPreExecuteTask'#435
  • 4.1.0上使用离线分析时，出现异常#429
  • Oracle ->Doris设置了dataMasking Transformer执行出错#425
  • 迁移oracle数据源设置时区设置#424
  • MySQL同步StarRocks，批量构建同步，设置执行presql报错#423
  • Oracle->Doris 增量实时同步失败#421
  • MySQL同步StarRocks，创建实时任务报错。#418
  • [Bug][Tis]任务描述：执行Hive2Doris导入，传递SelectedTab的cols结构体中type: null，导致校验不通过，无法创建同步管道任务。#391

Installation

Related Projects

Assets 2
Loading