Stargazers over time

TIS介绍

TIS快速为您提供企业级数据集成产品，基于批(DataX)，流(Flink-CDC、Chunjun)一体，提供简单易用的操作界面，降低用户实施各端（MySQL、PostgreSQL、Oracle、ElasticSearch、ClickHouse、Doris等） 之间数据同步的实施门槛，缩短任务配置时间，避免配置过程中出错，使数据同步变得简单、有趣且容易上手 详细介绍

v3.8.0发布（2023/10/25）：

https://github.com/datavane/tis/releases/tag/v3.8.0

安装说明

速将TIS在分布式环境中一键安装（支持私有云、公有云等环境），方便、快捷 详细说明

架构

核心特性

• 简单易用

  TIS的安装还是和传统软件安装一样，只需要三个步骤，一、下载tar包，二、解压tar包，三、启动TIS。是的，就这么简单。

• 扩展性强

  TIS 继承了Jenkin 的设计思想，使用微前端技术，重新构建了一套前端框架，前端页面可以自动渲染。

  TIS 提供了良好的扩展性和SPI机制，开发者可以很轻松地开发新的插件。

• 基于白屏化操作

  将传统的 ETL 工具执行以黑屏化工具包的方式（json+命令行执行）升级到白屏化 2.0的产品化方式，可以大大提高工作效率。

• 基于 DataOps 理念

  借鉴了 DataOps、DataPipeline 理念，对各各执行流程建模。不需要了解底层模块的实现原理，基本实现傻瓜化方式操作。

支持的读写组件

Reader	Writer

详细

功能一瞥

• 示例
  • 基于TIS快速实现MySQL到StarRocks的实时数据同步方案
  • 多源同步Doris方案
  • 将数据变更同步到Kafka
  • 利用TIS实现T+1离线分析
• 视频示例
  • 安装示例
  • 启用分布式执行功能
  • MySQL导入ElasticSearch
  • MySQL导入Hive
  • MySQL导入Clickhouse
  • MySQL同步StarRocks

批量导入流程设置

选择Reader/Writer插件类型

添加MySqlReader

设置MySqlReader目标表、列

添加ElasticWriter,可视化设置ElasticSearch的Schema Mapping

执行MySql->ElasticSearch DataX实例，运行状态

开通Flink实时数据通道

添加Flink-Cluster、设置重启策略、CheckPoint机制等

设置Source/Sink组件属性

TIS基于数据库元数据信息自动生成Flink-SQL脚本,您没看错全部脚本自动生！

实时数据通道创建完成！构建一个实时数仓就这么简单！！！

依赖项目

• WEB UI https://github.com/qlangtech/ng-tis
• 基于Ansible的打包工具 https://github.com/qlangtech/tis-ansible
• TIS 插件 https://github.com/qlangtech/plugins
• TIS 插件元数据生成工具 https://github.com/qlangtech/update-center2
• DataX https://github.com/qlangtech/DataX
• Flink Extend https://github.com/qlangtech/flink
• TIS 插件功能脚手架 https://github.com/qlangtech/tis-archetype-plugin
• Chunjun https://github.com/qlangtech/chunjun
• Zeppelin https://github.com/qlangtech/zeppelin
• TIS Docs Manager https://github.com/qlangtech/tis-doc
• 部分插件参数配置参考 Airbyte https://github.com/airbytehq/airbyte
• 架构思想参考 https://github.com/jenkinsci/jenkins

如何开发

https://tis.pub/docs/develop/compile-running/

许可协议

TIS is under the Apache2 License. See the LICENSE file for details.

反馈

您在使用过程中对TIS有任何不满或者批评都请不惜斧正，您提出的宝贵意见是对我们最大的支持和鼓励，我要提建议