-
每个任务分成吸收 转换 去重合并三个阶段,集成过程可回溯,发生错误可重试。
-
支持拉和推两种方式集成。
-
基于项目的管理方式,项目日志隔离,可以对每个任务进行单独管理。
-
易于扩展,分别实现转换,合并逻辑,开发过程简单。
-
采用全链路流式处理的技术,异步处理更高效。
-
支持分布式任务调度。
-
提供Restful接口方便集成。
-
提供操作界面。
运行pipin-core 需要mongodb
运行pipin-scheduler 需要zookeeper
可以根据需要自行选择
开发文档 https://github.com/pidata/pipin/wiki
Restful接口文档 https://reference-pidata.doc.coding.io