Skip to content

Releases: mydataharbor/mydataharbor

2.0.0发布(2023贺岁版)

17 Jan 02:33
Compare
Choose a tag to compare
1、新增 mydataharbor.ITaskStorage 接口,允许各组件在运行期持久化记录数据,并提供一个zookeeper的默认实现,每5秒1次准实时同步,不影响性能。
2、默认将任务的监控信息通过持久化接口近乎实时的展示在管理台
3、任务修改重建功能
4、调整rebalance算法,新机器加入,将转移当前管道数大于任务分配节点数的任务
5、鉴于1.x使用用户可能较少,由于修复了一些拼写错误,接口名称变了,不再向1.x兼容,建议大家把任务移到2.x上,请谅解

1.0.4发布(2022贺岁版)

01 Feb 09:55
95c9263
Compare
Choose a tag to compare

改善前端UI,优化使用体验
新增插件市场功能,方便使用
修复一些bug
其它

1.0.3发布

25 Aug 02:57
df1c97e
Compare
Choose a tag to compare

各种中间件插件支持

中间件/协议 数据源(DataSource) 写入源(Sink)
kafka ✅全部版本 ✅全部版本
redis 暂不考虑 | ✅全部版本
elasticsearch 计划中 | ✅5.6.x✅6.4.x✅6.0.x✅6.8.x✅6.5.x✅6.6.x✅6.7.x✅7.7.x✅7.13.x
http 暂不考虑 ✅
jdbc ✅mysql全部版本
✅oracle全部版本
✅hive全部版本 ✅mysql全部版本✅oracle全部版本

1.0.1-RELEASE发布

12 Aug 06:25
09e66bc
Compare
Choose a tag to compare

及时关闭forkjoin资源
Rebalance问题修复
fork的任务的状态默认置为创建
新增单条写入,批量提交功能,适用于单管道,多线程写入,单线程提交的情况
更新guava,junit版本,修复安全问题
重构,删除pipline模块
修复插件重装 creator没有清理的bug
插件重构
重构,监控完善,ui元信息完善加入枚举支持
修改版本号
springboot打包配置
结束时打印线程id
新增sh bat启动停止脚本

1.0.0-RELEASE版本!

18 Jul 14:10
383cfd0
Compare
Choose a tag to compare

分布式设计
MyDataHarbor是一个在zookeeper上构建的分布式中间件,支持对主机进行分组,各分组下的机器形成一个子集群,任务在子集群隔离范围内进行负载均衡,防止单点故障。

插件式设计
高度合理的抽象、插件化的设计使得MyDataHarbor拥有很高扩展性,任何数据迁移的需求都可以通过开发插件完成。

事务支持
MyDataHarbor设计之初就考虑到数据丢失问题,引入事务的支持保障数据不丢失!

插件自描述
安装插件后中间件会自动识别这个插件的能力,并且生成用户UI友好的任务创建界面,不需要用户直接编写复杂的json配置。

任务监控
对接java的jmx,每个任务都有详细的监控,实时查看任务的运行状态。