Roadmap

[birdLark]

1.2022-02-23 至 2022-04-01
数据服务模块
1.可视化API构建实现 mysql、oracle、sqlserver、postgres、db2、h2、derby、sqlite、sybase 数据库的查询
2.API接口列表，修改，删除，查询
3.权限管理列表，修改，删除，查询，建立和API接口的关系
4.测试这一块的功能和服务，保证生产可用

2022-04-01 至 2022-06-01
数据开发模块
1.JAR任务开发
2.SQL任务开发
3.开发任务中的停止和执行
功能:
具体支持spark的流式任务和flink流式任务的JAR包的上传，并能运行
具体支持spark的sql和flink的sql的任务的发布和运行，支持flink cdc 的源和目标

2022-06-01 至 2022-09-01
数据集成模块
1.集成目前最火的seatunnel和datax和flinkx市面上比较流行的开源集成框架，生成前端的任务作业
2.集成dolphinScheduler的任务调度模块

2022-09-01 至 2022-12-01
数据治理模块
1.数据目录模块
2.元数据和数据血缘具体的需要再思考如何去做

2022-12-01 至 2023-02-01
重构前端React框架
重构后端SpringCloud框架

[nysyxxg]

功能需求：
1：每个模块都是一个微服务
2：每个模块可以单独部署，互相集成

[nysyxxg]

3： 以分布式任务调度为基础平台，各个模块对接分布式任务调度

[birdLark]

1. Apache Zeppelin 交互式数据分析变得可行的基于网页的开源框架
2. Apache Atlas 为组织提供了开放的元数据管理和治理功能，以建立其数据资产的目录，对这些资产进行分类和治理，并为数据科学家，分析师和数据治理团队提供围绕这些数据资产的协作功能
3. Apache DolphinScheduler 可视化DAG 工作流任务调度平台
4. Google Prometheus 监控系统BorgMon类似实现的开源版 ，整套系统由 监控服务、告警服务、时序数据库等几个部
5. Apache Calcite SQL 解析\SQL 校验\查询优化\SQL 生成器\数据连接

[yesky12]

数据血缘图:
https://blog.csdn.net/qq_44831907/article/details/122923483
https://github.com/mizuhokaga/jsplumb-dataLineage
https://github.com/sqlparser/gsp_demo_java/tree/master/src/main/java/demos/dlineage
https://github.com/Xiwu1994/sql-parser

数据目录:
https://gitee.com/zyplayer/zyplayer-doc-db

DSS数据中台:
https://gitee.com/juyunapp/DataSphereStudio

[birdLark]

数据展示和BI
superset: https://github.com/apache/superset
davinci: https://github.com/edp963/davinci

[birdLark]

ETL工具:
java方向:
kettle: https://github.com/pentaho/pentaho-kettle
datax:https://github.com/alibaba/DataX

大数据方向:
seatunnel:https://github.com/apache/incubator-seatunnel
chunjun:https://github.com/DTStack/chunjun

[birdLark]

规则引擎 drools

[birdLark]

低代码开发后续会再 可视化API 和 数据开发 进行补充，不要让用户写SQL，最好是拖拉拽的形式

[birdLark]

关注厂商: 亿信华辰、美林数据、帆软、思迈特