No description, website, or topics provided.
Switch branches/tags
Nothing to show
Clone or download
Latest commit 94a94f2 Jul 31, 2018
Permalink
Failed to load latest commit information.
adswriter v0.0 Jan 31, 2018
common v0.0 Jan 31, 2018
core v0.0 Jan 31, 2018
drdsreader v0.0 Jan 31, 2018
drdswriter v0.0 Jan 31, 2018
elasticsearchwriter v0.0 Jan 31, 2018
ftpreader v0.0 Jan 31, 2018
ftpwriter v0.0 Jan 31, 2018
hbase094xreader v0.0 Jan 31, 2018
hbase094xwriter v0.0 Jan 31, 2018
hbase11xreader 修改hbaseConfig相关描述 Mar 26, 2018
hbase11xsqlwriter v0.0 Jan 31, 2018
hbase11xwriter 修改hbaseConfig相关描述 Mar 26, 2018
hdfsreader change the logic of getting orc column count in DFSUtil.java May 23, 2018
hdfswriter v0.0 Jan 31, 2018
images add datax plugin dev wiki Jun 7, 2018
mongodbreader v0.0 Jan 31, 2018
mongodbwriter v0.0 Jan 31, 2018
mysqlreader v0.0 Jan 31, 2018
mysqlwriter v0.0 Jan 31, 2018
ocswriter v0.0 Jan 31, 2018
odpsreader v0.0 Jan 31, 2018
odpswriter v0.0 Jan 31, 2018
oraclereader v0.0 Jan 31, 2018
oraclewriter v0.0 Jan 31, 2018
ossreader v0.0 Jan 31, 2018
osswriter v0.0 Jan 31, 2018
otsreader v0.0 Jan 31, 2018
otsstreamreader v0.0 Jan 31, 2018
otswriter v0.0 Jan 31, 2018
plugin-rdbms-util v0.0 Jan 31, 2018
plugin-unstructured-storage-util v0.0 Jan 31, 2018
postgresqlreader v0.0 Jan 31, 2018
postgresqlwriter v0.0 Jan 31, 2018
rdbmsreader v0.0 Jan 31, 2018
rdbmswriter v0.0 Jan 31, 2018
rpm v0.0 Jan 31, 2018
sqlserverreader v0.0 Jan 31, 2018
sqlserverwriter v0.0 Jan 31, 2018
streamreader v0.0 Jan 31, 2018
streamwriter v0.0 Jan 31, 2018
transformer v0.0 Jan 31, 2018
txtfilereader v0.0 Jan 31, 2018
txtfilewriter v0.0 Jan 31, 2018
.gitignore add .gitignore May 15, 2018
README.md Update README.md Jul 31, 2018
datax-opensource-dingding.png v0.0 Jan 31, 2018
dataxPluginDev.md fix dataxPluginDev.md Jun 7, 2018
introduction.md Update README.md Feb 4, 2018
license.txt v0.0 Jan 31, 2018
package.xml fix doc Feb 2, 2018
pom.xml fix doc Feb 2, 2018
userGuid.md Merge branch 'master' of https://github.com/alibaba/DataX Jun 7, 2018

README.md

Datax-logo

DataX

DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。

Features

DataX本身作为数据同步框架,将不同数据源的同步抽象为从源头数据源读取数据的Reader插件,以及向目标端写入数据的Writer插件,理论上DataX框架可以支持任意数据源类型的数据同步工作。同时DataX插件体系作为一套生态系统, 每接入一套新数据源该新加入的数据源即可实现和现有的数据源互通。

DataX详细介绍

请参考:DataX-Introduction

Quick Start

Download DataX下载地址
请点击:Quick Start

Support Data Channels

DataX目前已经有了比较全面的插件体系,主流的RDBMS数据库、NOSQL、大数据计算系统都已经接入,目前支持数据如下图,详情请点击:DataX数据源参考指南

类型 数据源 Reader(读) Writer(写) 文档
RDBMS 关系型数据库 MySQL
            Oracle         √         √    
SQLServer
PostgreSQL
DRDS
通用RDBMS(支持所有关系型数据库)
阿里云数仓数据存储 ODPS
ADS
OSS
OCS
NoSQL数据存储 OTS
Hbase0.94
Hbase1.1
MongoDB
Hive
无结构化数据存储 TxtFile
FTP
HDFS
Elasticsearch

我要开发新的插件

请点击:DataX插件开发宝典

项目成员

核心Contributions: 光戈、一斅、祁然、云时

感谢天烬、巴真、静行对DataX做出的贡献。

License

This software is free to use under the Apache License Apache license.

请及时提出issue给我们。请前往:DataxIssue

开源版DataX企业用户

Datax-logo

长期招聘 联系邮箱:hanfa.shf@alibaba-inc.com
【JAVA开发职位】
职位名称:JAVA资深开发工程师/专家/高级专家
工作年限 : 2年以上
学历要求 : 本科(如果能力靠谱,这些都不是条件)
期望层级 : P6/P7/P8

岗位描述:
    1. 负责阿里云大数据平台(数加)的开发设计。 
    2. 负责面向政企客户的大数据相关产品开发;
    3. 利用大规模机器学习算法挖掘数据之间的联系,探索数据挖掘技术在实际场景中的产品应用 ;
    4. 一站式大数据开发平台
    5. 大数据任务调度引擎
    6. 任务执行引擎
    7. 任务监控告警
    8. 海量异构数据同步

岗位要求:
    1. 拥有3年以上JAVA Web开发经验;
    2. 熟悉Java的基础技术体系。包括JVM、类装载、线程、并发、IO资源管理、网络;
    3. 熟练使用常用Java技术框架、对新技术框架有敏锐感知能力;深刻理解面向对象、设计原则、封装抽象;
    4. 熟悉HTML/HTML5和JavaScript;熟悉SQL语言;
    5. 执行力强,具有优秀的团队合作精神、敬业精神;
    6. 深刻理解设计模式及应用场景者加分;
    7. 具有较强的问题分析和处理能力、比较强的动手能力,对技术有强烈追求者优先考虑;
    8. 对高并发、高稳定可用性、高性能、大数据处理有过实际项目及产品经验者优先考虑;
    9. 有大数据产品、云产品、中间件技术解决方案者优先考虑。

钉钉用户请扫描以下二维码进行讨论: DataX-OpenSource-Dingding