Skip to content

Releases: qlangtech/dolphinscheduler

Release list

Release v5.1.0

Release v5.1.0 Latest
Latest

Choose a tag to compare

View all tags
@baisui1981 baisui1981 released this 20 Aug 10:36
v5.1.0
c825935

Abstract

TIS v5.1.0 版本主要功能说明

1. ChatBI — 基于 Ontology 语义层的智能数据问答

TIS v5.1.0 推出了面向业务人员的自然语言数据查询能力 ChatBI。该功能建立在全新的 Ontology 语义层之上，通过对数据源进行语义化建模（对象类型、属性、业务术语、关系连接等），将技术表结构转化为业务人员可理解的知识图谱。系统采用 GraphRAG 技术从 Neo4j 中高效召回相关语义子图，并经由 NL→SQL 链路生成可执行 SQL，配合关键字白名单、AST 语法校验及 EXPLAIN 动态校验三重安全机制，确保生成 SQL 的正确性与安全性。业务人员无需掌握 SQL 或了解底层表结构，即可通过对话方式自助获取数据洞察，大幅降低数据分析门槛。

2. DAG 批量调度引擎全面迁移至 Akka Actor 架构

为提升大规模数据同步任务的调度性能与系统可靠性，TIS v5.1.0 将批量同步调度核心从传统模式全面重构为基于 Akka Actor 的分布式架构。通过引入 WorkflowInstanceActor 有状态实例管理，消除重复数据库查询与 DAG 重复计算；利用 Cluster Sharding 实现自动路由与故障恢复，结合 NodeDispatcherActor 的并发控制机制，避免大量任务同时执行对源端数据库造成压力。架构精简后去除冗余转发层，消息延迟降低约 10-20%，并原生支持集群动态扩缩容与任务自动故障转移。

3. Flink-CDC Pipeline 支持 before/after 双版本数据

针对实时变更数据捕获场景，v5.1.0 引入 Flink-CDC Pipeline 模式。在此前的 MySQL CDC 同步到 Kafka 的实现中，消息仅包含变更后的 after 版本数据，无法满足审计追踪、数据比对及增量分析等场景对变更前状态的需求。新版本通过 PipelineEventSinkFunc 将变更事件映射为包含 before 与 after 双版本的完整事件流，使下游消费方能够同时获取数据修改前后的完整快照，显著扩展了 CDC 数据在审计、对账、实时分析等场景中的应用价值。

4. 多实体实例批量删除能力

为提升运维效率，v5.1.0 统一了前端各类列表的批量删除操作机制。通过引入 ListItemsManager 抽象基类，将“选择目标记录 → 执行删除 → 反馈结果”的流程标准化，并以插件化方式扩展至不同实体类型。目前已支持构建历史记录、Ontology Glossary 业务术语等多种资源的批量删除。该机制避免了为每种实体重复开发删除逻辑，后续新增实体仅需继承基类即可快速接入统一的批量删除能力。

5. Paimon FileSystem Catalog — 轻量级数据湖接入

在 Paimon 数据湖支持方面，v5.1.0 新增了 FileSystemCatalog 实现，使用户能够直接基于 MinIO、HDFS 等底层文件系统创建和管理 Paimon 表，无需再依赖 HiveServer2 及 Hive Metastore 服务。相比此前仅支持的 HiveCatalog，FileSystemCatalog 大幅简化了部署依赖，降低了生产环境的运维复杂度，特别适用于已采用对象存储作为数据湖底座、希望减少组件依赖的轻量化场景，进一步拓宽了 TIS 在云原生数据湖架构中的适配范围。

Others

  • 升级TIS的jdk 版本到17#488

New Feature

  • 建议新增数据同步到paimon支持S3、OSS#490
  • 建议新增功能：删除批量构建的任务。#487
  • 去除PowerJob组件依赖，启用akka#486
  • 提交大模型json描述需要改成json schema#485
  • 将kafka的sink端实现改成flink-cdc pipeline event消息实现#484
  • 基于TIS transformer的主表与维表的宽表构建#483
  • 废弃DataxAddStep6Component tableAlias设置#481

Bug Fix

  • 人大金仓数据库V9 mysql兼容版 同步到Doris4.0.2#492
  • 使用KubernetesApplication模式部署flink job 执行stop之后无法通过保存的savepoint恢复job任务#464

Installation

Related Projects

Assets 2
Loading

Release v5.0.0

Release v5.0.0

Choose a tag to compare

View all tags
@baisui1981 baisui1981 released this 25 Dec 07:18
v5.0.0
c825935

Abstract

TIS的v5.0.0版本终于完成了开发，v5.0.0在以下几方面进行了功能加强和升级。https://github.com/datavane/tis/milestone/11?closed=1

TIS v5.0.0 版本主要功能说明

1. TIS AI Agent - 让数据管道"说人话"

TIS v5.0.0 引入了国内首个大数据领域的原生AI Agent，支持通过自然语言对话快速创建数据管道。用户只需用中文描述需求（如"将MySQL同步到Doris"）
，AI Agent即可自动完成数据源配置、插件选择、管道创建、增量同步启动等全流程操作。相比传统方式需要15-20分钟的手工配置，AI Agent将操作时间缩短至2分钟以内。
基于TIS多年积累的领域模型和插件体系，采用Plan-and-Execute架构深度整合，支持DeepSeek、通义千问等国产大模型，真正实现了"开箱即用"的智能化数据集成体验。

2. CDC启动前智能预验证机制

例如：针对PostgreSQL实时数据同步任务启动失败的痛点，TIS v5.0.0实现了7个维度的预验证机制，在Flink CDC任务启动前即可发现潜在问题：包括PostgreSQL版本检查、WAL配置验证、用户权限校验、系统表存在性检测、复制槽状态监控、解码插件验证和表结构检查。将原本需要在运行时才能发现的错误（如版本不兼容、配置缺失）提前到配置阶段，问题发现时间从数小时缩短到数秒，大幅降低用户排查成本。区分错误和警告两级提示，既能快速定位致命问题，又能提供优化建议，有效防止WAL日志堆积等生产环境隐患。

其他源端，如：MySQL、Oracle等CDC任务启动时候也都加入的先验校功能

3. Flink Job实时告警监控系统

TIS v5.0.0为运行中的Flink实时同步任务增加了完善的告警监控能力。系统通过定时轮询机制自动监控Flink Job的运行状态，当任务因异常终止或被手动停止时，可通过多种渠道及时通知相关人员，支持邮件、钉钉、企业微信、飞书、HTTP回调等5种告警方式。用户可灵活配置告警渠道和自定义消息模板，确保数据同步任务的异常能够第一时间被发现和处理，避免因任务中断导致的数据延迟或丢失，显著提升生产环境的稳定性和可靠性。

4. HTTP正向代理支持

为解决企业内网环境下访问外部数据源的网络隔离问题,TIS v5.0.0新增了HTTP正向代理功能。用户可在系统中配置代理服务器地址、端口及认证信息,TIS在访问外部HTTP/HTTPS资源时将自动通过代理转发请求。该功能特别适用于需要从公网抓取数据但服务器无法直接访问互联网的场景,也支持通过企业统一代理网关进行安全审计。配置简单灵活,支持基本认证和匿名代理两种模式,有效打通了数据集成的"最后一公里"。

New Feature

  • 希望Transformer可以加一个 “常量值算子”#480
  • postgresql 9 实时同步数据到 mysql5.7异常#470
  • Kafka Reader topic tag 关注表需要支持通配符#468
  • 为TIS设置内网代理功能#431
  • 全自动pipeline执行机器人实现#413
  • 增量实例支持告警功能#218

Bug Fix

  • flink-cdc启动如mysql 数据库的binlog没有开启 gtid功能 就会报异常#477
  • 执行tdfs端到mysql点击预览功能出错#476
  • KingbaseV9 flinkcdc实时同步到doris,全量同步阶段出现日期转换错误java.lang.UnsupportedOperationException: null#474
  • kingbase中在mysql模式下如果有integer字段类型则执行增量cdc会将字段过滤掉#473
  • MySQL v8版本在分库分表模型是运行部分分表的监听会跳过#471
  • Form Datetime时间控件保存时间与所在zone真实事件慢8小时#469
  • 编辑模式下切换两个pipeline会出现冲突#467

Installation

Related Projects

Loading

Release v4.3.0

Release v4.3.0

Choose a tag to compare

View all tags
@baisui1981 baisui1981 released this 19 Aug 08:09
v4.3.0
c825935

Abstract

TIS的v4.3.0版本终于完成了开发，v4.3.0在以下几方面进行了功能加强和升级。https://github.com/datavane/tis/milestone/9?closed=1

  1. 增加Apache Paimon数据端的批量与实时写入能力
  2. 第三方开源依赖包版本升级
    • Flink版本升级到v1.20.1
    • Flink-CDC版本升级到v3.4.0
  3. 实时同步管道增加执行状态可视化功能项，提供提供实时任务限流&暂停&泄洪功能可以应对数据流上游突发需求，例如：DBA夜晚大批量订正业务数据，导致大量数据堆积，TIS的实时同步管道会进行限流，防止数据积压，从而保证数据正常同步。
  4. 增加 新人引导功能，当第一安装使用TIS的用户进入TIS控制台，可以用过该指南快速地熟悉TIS操作流程。

New Feature

  • 增加Doris DataX批量Reader Connector连接器#458
  • MySQL数据源无法选择UTC 0 所对应的时区#452
  • 用户初次打开安装TIS成功后进入TIS 显示新人引导对话框#448
  • 升级TIS 依赖的flink依赖版本#446
  • 去除异常类：com.dtstack.chunjun.throwable.NoRestartException#441
  • 数据管道添加-选择导入表，筛选功能优化建议。#419
  • 增加paimon数据源支持批量写与实时写#416
  • 数据管道导入实时导入可视化增强#353
  • 【建议】添加datax 实例任务 纵览报表#301

Others

  • 提供实时任务限流&执行状态可视化功能#397

Bug Fix

  • kingbase->kingbase 开启增量同步，脚本使用Flink SQL模式提交报告'connector'='tis-kingbase-x'无法找到#465
  • MySQL CDC Source 启动->停止->再启动 不消费最的event事件#463
  • 使用kingbase cdc只能同步public模式下的表,其他模式无法设置#460
  • mongo to starrocks批量构建，如果mongo表的object类型的字段值有空值，会构建失败#456
  • mongodb 作为源端同步时有异常出现#455
  • mongodb 同步到 starrock 可以正常同步，但是等待一段时间后会挂掉#454
  • 从starrocks同步到odps，在构建建表DDL时会报错#453

Installation

Related Projects

Loading

Release v4.2.1

Release v4.2.1

Choose a tag to compare

View all tags
@baisui1981 baisui1981 released this 13 May 04:50
v4.2.1
c825935

Abstract

TIS的v4.2.0版本终于完成了开发，v4.2.0在以下几方面进行了功能加强和升级。https://github.com/datavane/tis/milestone/8?closed=1

  1. 在v4.1.0发布后，用户使用过程中发现的一些bug及缺陷进行修复
  2. 针对本地CSV文件导入到hive数仓中无法设置主键这一问题进行改造，添加了自动生成主键的Transformer功能
  3. 对离线分析功能进行了完善，由于之前版本中添加了别名表及Transformer功能，并且由于离线分析EMR没有进行全面回归测试，在v4.1.0版本中不可用，在此版本中进行了修复并且成功经过全链路集成测试
  4. 针对SqlServer数据库监听获取到的同步时间会比数据库实际时间晚8个小时进行了改造，确保两者时间一致。

New Feature

  • 非RDBMS->RDBMS，如果原表中无主键，添加一个功能：自动生成一个自增主键#433
  • TDFS(Local Files) 同步数据到 Hive 任务报错#432
  • 建议优化DataX脚本、Table DDL Script的展示列表#430
  • 单个DataX执行任务可设置超时时间#427
  • DS调度tis任务时，出现OOM错误#417
  • 实时同步希望增加过滤（例如：filter delete类型事件）某类事件功能#415
  • com.microsoft.sqlserver.jdbc.SQLServerException: 不支持“variant”数据类型#412
  • 版本4.0.0，MSSql-->doris，多个任务在同一时间的定时同步任务均会失败。#394

Bug Fix

  • 在开启powerjob分布式执行器的情况下，点击触发数据分析EMR（doExecuteWorkflow）执行报错 datavane/tis#442
  • SqlServer -> MySQL 增量，起始位点使用Initial，报异常：Caused by: java.lang.IllegalStateException: invalid op:READ#438
  • 从sqlserver2016增量数据同步到pg13时，时间列会加8小时。#437
  • 创建 Hive数据源时时候，支持指定路径HDFS路径与dbName不一致#436
  • 建表任务和DataX任务都执行成功，但是表中没数据，报错：table ftp_datax shall have create in 'createPreExecuteTask'#435
  • 4.1.0上使用离线分析时，出现异常#429
  • Oracle ->Doris设置了dataMasking Transformer执行出错#425
  • 迁移oracle数据源设置时区设置#424
  • MySQL同步StarRocks，批量构建同步，设置执行presql报错#423
  • Oracle->Doris 增量实时同步失败#421
  • MySQL同步StarRocks，创建实时任务报错。#418
  • [Bug][Tis]任务描述：执行Hive2Doris导入，传递SelectedTab的cols结构体中type: null，导致校验不通过，无法创建同步管道任务。#391

Installation

Related Projects

Loading

Release v4.2.0

Release v4.2.0

Choose a tag to compare

View all tags
@baisui1981 baisui1981 released this 07 May 08:49
v4.2.0
c825935

Abstract

TIS的v4.2.0版本终于完成了开发，v4.2.0在以下几方面进行了功能加强和升级。https://github.com/datavane/tis/milestone/8?closed=1

  1. 在v4.1.0发布后，用户使用过程中发现的一些bug及缺陷进行修复
  2. 针对本地CSV文件导入到hive数仓中无法设置主键这一问题进行改造，添加了自动生成主键的Transformer功能
  3. 对离线分析功能进行了完善，由于之前版本中添加了别名表及Transformer功能，并且由于离线分析EMR没有进行全面回归测试，在v4.1.0版本中不可用，在此版本中进行了修复并且成功经过全链路集成测试
  4. 针对SqlServer数据库监听获取到的同步时间会比数据库实际时间晚8个小时进行了改造，确保两者时间一致。

New Feature

  • 非RDBMS->RDBMS，如果原表中无主键，添加一个功能：自动生成一个自增主键#433
  • TDFS(Local Files) 同步数据到 Hive 任务报错#432
  • 建议优化DataX脚本、Table DDL Script的展示列表#430
  • 单个DataX执行任务可设置超时时间#427
  • DS调度tis任务时，出现OOM错误#417
  • 实时同步希望增加过滤（例如：filter delete类型事件）某类事件功能#415
  • com.microsoft.sqlserver.jdbc.SQLServerException: 不支持“variant”数据类型#412
  • 版本4.0.0，MSSql-->doris，多个任务在同一时间的定时同步任务均会失败。#394

Bug Fix

  • SqlServer -> MySQL 增量，起始位点使用Initial，报异常：Caused by: java.lang.IllegalStateException: invalid op:READ#438
  • 从sqlserver2016增量数据同步到pg13时，时间列会加8小时。#437
  • 创建 Hive数据源时时候，支持指定路径HDFS路径与dbName不一致#436
  • 建表任务和DataX任务都执行成功，但是表中没数据，报错：table ftp_datax shall have create in 'createPreExecuteTask'#435
  • 4.1.0上使用离线分析时，出现异常#429
  • Oracle ->Doris设置了dataMasking Transformer执行出错#425
  • 迁移oracle数据源设置时区设置#424
  • MySQL同步StarRocks，批量构建同步，设置执行presql报错#423
  • Oracle->Doris 增量实时同步失败#421
  • MySQL同步StarRocks，创建实时任务报错。#418
  • [Bug][Tis]任务描述：执行Hive2Doris导入，传递SelectedTab的cols结构体中type: null，导致校验不通过，无法创建同步管道任务。#391

Installation

Related Projects

Loading

Release v4.1.0

Release v4.1.0

Choose a tag to compare

View all tags
@baisui1981 baisui1981 released this 27 Feb 08:48
v4.1.0
c825935

Abstract

TIS的v4.1.0版本终于要与大家见面了，v4.1.0在以下几方面进行了功能加强和升级。

  1. 扩展TIS生态，新增多个实时 CDC Connector，如SqlServer，MongoDB，Oracle，人大金仓KingBase，Kafka，PostgreSQL。
  2. 支持源表列注释同步到目标表列，该功能在AI Chat-DB的场景中尤为重要。例如，用户将数据同步到 OLAP 库Doris中，Chat-DB需要依赖目标表的列注释来自动生成SQL，如用户手动同步会非常繁琐。
  3. 为Doris 添加了多个实用的功能，支持Doris 同步目标表DDL自动生成参数化，如：用户可以指定副本数、分桶数，另外，用户可批量添加目标表前缀，如：“ods_”
  4. 优化了Hive表导入、导出功能，增加了多种主流文件格式，如：Parquet、OCR、HFile，并且支持非分区表读取。
  5. 为了繁荣TIS生态构建，实现TIS社区良性发展，引入众包协作机制，让第三方开发者与TIS的用户有效互动、相互协助，TIS实现社区协作机制 https://tis.pub/community-collaboration
  6. 去除了之前添加的Zeppelin Notebook相关功能模块，实际使用下来使用者寥寥，切会增大TIS发布包体积，因此在该版本中将其去除。

Bug Fix

  • 由于flink 类更改导致序列化版本不一致错误，而客户端界面无法感知到错误#406
  • 利用FTP将CSV文件导入doris 配置流程出错#404
  • 4.0.1版本MySQL--> Doris，数据管道中的 Writer部分的 maxBatchSize 参数修改不生效#392
  • 使用JSON Splitter拆分记录中的JSON字段内容出错#390
  • 使用sqlserver2008创建数据源时，出现报错java.lang.RuntimeException: java.lang.NoClassDefFoundError: javax/xml/bind/DatatypeConverter#381
  • MongoDB作为数据源不支持Transformer功能#371
  • MongoDB 作为source源执行预览查看报错#370

Others

  • mysql 主键不在第一行，增量导入doris会报错#400

New Feature

  • 建议“数据管道添加“，支持批量修改StarRocks目标表名称，设置目标表属性，新增目标表字段。#410
  • 人大金仓批量增量支持#408
  • 删除Zeppelin Notebook相关功能模块#395
  • SqlServer数据库需支持基于chunjun实时写connector#386
  • PG增量复制需要源端Replica FULL，对源端性能影响严重#384
  • mongoDB 基于flink-cdc的实时读Connector实现#375
  • Oracle 基于logminer实时读 Connector 实现#374
  • 增加建表列字段的comments信息#351
  • Kafka 实现实时读#344
  • SqlServer数据库需支持基于flink-cdc实时读connector#340
  • 社区协作插件改造#317
  • 【UI】Table DDL Script名称过长问题#305

Installation

Related Projects

Loading