index system base on kafka connect

使用前必看

项目能够运行的前提条件:

1. kafka版本1.0.0;
2. kafka topic数据需要来自debezium，简单的理解: 强依赖debezium;

文档

文档地址

特点

1. 基于kafka connect，天然支持高可用。
2. kafka connect完备的commit处理。
3. 支持数据库反查，聚合数据。
4. 支持写入solr，开发者也可以实现自己的写入端。
5. 支持设置task个数，并行处理（并行个数与kafka topic partition个数相关）。

TODO

• Executor每条sql支持不同的dataSource。
• 支持写入ES。
• 支持写入Mysql。
• 单元测试覆盖。

Any Problem

email: sweatott@gmail.com

其它

欢迎各位PR. To be better