Skip to content
No description, website, or topics provided.
Java Python Shell
Branch: master
Clone or download
TrafalgarLuo Merge pull request #499 from asdf2014/github_readme
Add TSDB Reader into README doc
Latest commit a301cf5 Nov 8, 2019
Permalink
Type Name Latest commit message Commit time
Failed to load latest commit information.
adbpgwriter Bump jdk to 1.8 Nov 8, 2019
adswriter Bump jdk to 1.8 Nov 8, 2019
cassandrareader Bump jdk to 1.8 Nov 8, 2019
cassandrawriter Bump jdk to 1.8 Nov 8, 2019
common Bump jdk to 1.8 Nov 8, 2019
core Bump jdk to 1.8 Nov 8, 2019
drdsreader Bump jdk to 1.8 Nov 8, 2019
drdswriter Bump jdk to 1.8 Nov 8, 2019
elasticsearchwriter Bump jdk to 1.8 Nov 8, 2019
ftpreader Bump jdk to 1.8 Nov 8, 2019
ftpwriter Bump jdk to 1.8 Nov 8, 2019
gdbwriter Bump jdk to 1.8 Nov 8, 2019
hbase094xreader Bump jdk to 1.8 Nov 8, 2019
hbase094xwriter Bump jdk to 1.8 Nov 8, 2019
hbase11xreader Bump jdk to 1.8 Nov 8, 2019
hbase11xsqlreader Bump jdk to 1.8 Nov 8, 2019
hbase11xsqlwriter Bump jdk to 1.8 Nov 8, 2019
hbase11xwriter Bump jdk to 1.8 Nov 8, 2019
hbase20xsqlreader Bump jdk to 1.8 Nov 8, 2019
hbase20xsqlwriter Bump jdk to 1.8 Nov 8, 2019
hdfsreader Bump jdk to 1.8 Nov 8, 2019
hdfswriter Bump jdk to 1.8 Nov 8, 2019
images dingding Aug 6, 2019
mongodbreader Bump jdk to 1.8 Nov 8, 2019
mongodbwriter Bump jdk to 1.8 Nov 8, 2019
mysqlreader Bump jdk to 1.8 Nov 8, 2019
mysqlwriter Bump jdk to 1.8 Nov 8, 2019
ocswriter Bump jdk to 1.8 Nov 8, 2019
odpsreader Bump jdk to 1.8 Nov 8, 2019
odpswriter Bump jdk to 1.8 Nov 8, 2019
opentsdbreader Bump jdk to 1.8 Nov 8, 2019
oraclereader Bump jdk to 1.8 Nov 8, 2019
oraclewriter Bump jdk to 1.8 Nov 8, 2019
ossreader Bump jdk to 1.8 Nov 8, 2019
osswriter Bump jdk to 1.8 Nov 8, 2019
otsreader Bump jdk to 1.8 Nov 8, 2019
otsstreamreader Bump jdk to 1.8 Nov 8, 2019
otswriter Bump jdk to 1.8 Nov 8, 2019
plugin-rdbms-util hbase11xsqlwriter支持phoenix thinclient May 29, 2019
plugin-unstructured-storage-util v0.0 Jan 31, 2018
postgresqlreader Bump jdk to 1.8 Nov 8, 2019
postgresqlwriter Bump jdk to 1.8 Nov 8, 2019
rdbmsreader Bump jdk to 1.8 Nov 8, 2019
rdbmswriter Bump jdk to 1.8 Nov 8, 2019
rpm v0.0 Jan 31, 2018
sqlserverreader Bump jdk to 1.8 Nov 8, 2019
sqlserverwriter Bump jdk to 1.8 Nov 8, 2019
streamreader Bump jdk to 1.8 Nov 8, 2019
streamwriter Bump jdk to 1.8 Nov 8, 2019
transformer Bump jdk to 1.8 Nov 8, 2019
tsdbreader Add TSDB Reader Nov 8, 2019
tsdbwriter Bump jdk to 1.8 Nov 8, 2019
txtfilereader Bump jdk to 1.8 Nov 8, 2019
txtfilewriter Bump jdk to 1.8 Nov 8, 2019
.gitignore Add OpenTSDB reader and TSDB writer Apr 26, 2019
README.md Add TSDB Reader into README doc Nov 8, 2019
datax-opensource-dingding.png v0.0 Jan 31, 2018
dataxPluginDev.md fix dataxPluginDev.md Jun 7, 2018
introduction.md Update README.md Feb 4, 2018
license.txt v0.0 Jan 31, 2018
package.xml cassandra plugins Oct 11, 2019
pom.xml Add TSDB Reader Nov 8, 2019
userGuid.md Merge branch 'master' of https://github.com/alibaba/DataX Jun 7, 2018

README.md

Datax-logo

DataX

DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。

Features

DataX本身作为数据同步框架,将不同数据源的同步抽象为从源头数据源读取数据的Reader插件,以及向目标端写入数据的Writer插件,理论上DataX框架可以支持任意数据源类型的数据同步工作。同时DataX插件体系作为一套生态系统, 每接入一套新数据源该新加入的数据源即可实现和现有的数据源互通。

DataX详细介绍

请参考:DataX-Introduction

Quick Start

Download DataX下载地址
请点击:Quick Start

Support Data Channels

DataX目前已经有了比较全面的插件体系,主流的RDBMS数据库、NOSQL、大数据计算系统都已经接入,目前支持数据如下图,详情请点击:DataX数据源参考指南

类型 数据源 Reader(读) Writer(写) 文档
RDBMS 关系型数据库 MySQL
            Oracle         √         √    
SQLServer
PostgreSQL
DRDS
通用RDBMS(支持所有关系型数据库)
阿里云数仓数据存储 ODPS
ADS
OSS
OCS
NoSQL数据存储 OTS
Hbase0.94
Hbase1.1
Phoenix4.x
Phoenix5.x
MongoDB
Hive
Cassandra
无结构化数据存储 TxtFile
FTP
HDFS
Elasticsearch
时间序列数据库 OpenTSDB
TSDB

我要开发新的插件

请点击:DataX插件开发宝典

项目成员

核心Contributions: 光戈、一斅、祁然、云时

感谢天烬、巴真、静行对DataX做出的贡献。

License

This software is free to use under the Apache License Apache license.

请及时提出issue给我们。请前往:DataxIssue

开源版DataX企业用户

Datax-logo

长期招聘 联系邮箱:datax@alibabacloud.com
【JAVA开发职位】
职位名称:JAVA资深开发工程师/专家/高级专家
工作年限 : 2年以上
学历要求 : 本科(如果能力靠谱,这些都不是条件)
期望层级 : P6/P7/P8

岗位描述:
    1. 负责阿里云大数据平台(数加)的开发设计。 
    2. 负责面向政企客户的大数据相关产品开发;
    3. 利用大规模机器学习算法挖掘数据之间的联系,探索数据挖掘技术在实际场景中的产品应用 ;
    4. 一站式大数据开发平台
    5. 大数据任务调度引擎
    6. 任务执行引擎
    7. 任务监控告警
    8. 海量异构数据同步

岗位要求:
    1. 拥有3年以上JAVA Web开发经验;
    2. 熟悉Java的基础技术体系。包括JVM、类装载、线程、并发、IO资源管理、网络;
    3. 熟练使用常用Java技术框架、对新技术框架有敏锐感知能力;深刻理解面向对象、设计原则、封装抽象;
    4. 熟悉HTML/HTML5和JavaScript;熟悉SQL语言;
    5. 执行力强,具有优秀的团队合作精神、敬业精神;
    6. 深刻理解设计模式及应用场景者加分;
    7. 具有较强的问题分析和处理能力、比较强的动手能力,对技术有强烈追求者优先考虑;
    8. 对高并发、高稳定可用性、高性能、大数据处理有过实际项目及产品经验者优先考虑;
    9. 有大数据产品、云产品、中间件技术解决方案者优先考虑。

钉钉用户群:23169395

You can’t perform that action at this time.