Releases: hw2499/etl-engine
Releases · hw2499/etl-engine
etl-engine_v1.2.6
- etl-engine v1.2.6
当前版本最后编译时间20240728 - 技术支持
vx：weigeonlyyou - 修改轨迹
- etl_engine 增加SQLServer数据库适配能力。
- etl_designer 增加对SQLServer数据库配置能力。
- etl_crontab 增加对SQLServer数据库适配能力。
- etl_crontab 增加对服务端etl_engine.log和etl_crontab.log日志文件的监控，并将内容输出到前端 控制台日志 展示。
- etl_crontab 增加对conf.cron配置文件 ip2 和 webSocketPort参数的解析.
etl-engine v1.2.5
- etl-engine v1.2.5
当前版本最后编译时间20240628
近期项目比较忙，更新会有延迟。 - 技术支持
vx：weigeonlyyou - 修改轨迹
- etl_engine 完善REDIS_READER 中keys属性功能，支持指定多个key时与通配符组合使用，如：keys="a1;HW_*;a3"
- 为开发人员提供嵌入go脚本内置库函数
Zip/GZip 压缩 文件或目录
UnZip/UnGZip 解压缩文件
MD5 md5算法加密字符串 - 完善 样本文件
redis与mysql相互同步
etl-engine_v1.2.4
- etl-engine v1.2.4
当前版本最后编译时间20240504
近期项目比较忙，更新会有延迟。 - 技术支持
vx：weigeonlyyou - 修改轨迹
-
etl_engine 完善REDIS_READER 及 REDIS_WRITER功能, 均增加 patternMatchKey 属性,实现将keys按模糊匹配方式进行批量读写.
-
etl_designer 完善对REDIS_READER 及 REDIS_WRITER 参数 patternMatchKey 配置的支持.
-
样本
<?xml version="1.0" encoding="UTF-8"?>
<Graph>
<Node id="REDIS_READER_01" type="REDIS_READER" desc="输入节点1" nameServer="127.0.0.1:6379" password="******" db="0" patternMatchKey="true" keys="H*">
</Node>
<Node id="REDIS_WRITER_01" type="REDIS_WRITER" desc="输出节点1" nameServer="127.0.0.1:6379" password="******" db="1"
patternMatchKey="true"
outputFields="key;value"
renameOutputFields="key;value" >
</Node>
<Line id="LINE_01" type="STANDARD" from="REDIS_READER_01" to="REDIS_WRITER_01" order="0" metadata="METADATA_01"></Line>
<Metadata id="METADATA_01">
<Field name="key" type="string" default="-1" nullable="false"/>
<Field name="value" type="string" default="-1" nullable="false"/>
<Field name="key_ttl" type="int" default="-1" nullable="false"/>
</Metadata>
</Graph>
etl-engine_v1.2.3
- etl-engine v1.2.3
当前版本最后编译时间20231224
近期项目比较忙，更新会有延迟。 - 技术支持
vx：weigeonlyyou - 修改轨迹
-
etl_crontab 为方便第三方系统集成管理端页面，公开管理端URL
/etldesigner 任务设计器
/etlcrondesigner 调度设计器
/etlquerylogs 任务日志分析
/etlqueryjobstatus 调度执行日志
/etlbashboard 监控面板 -
为第三方系统集成 etl_crontab 管理页面，增加参数releasePage配置功能
-
第三方系统集成 etl_crontab 管理页面VUE样本
<template>
<div>
<iframe :src="this.EtlServerUiUrl"
width="100%"
scrolling="no"
style="margin: 0px;padding: 0px;height: calc(100vh);border:none;overflow:hidden;"
/>
</div>
</template>
<script>
let Base64 = require('js-base64').Base64
export default {
name: "commIntegrationPage.vue",
data(){
return{
EtlServerUiUrl : "http://127.0.0.1:8080/etl_designer/etlbashboard?username=admin&password="+Base64.encode("paI+Td8SvwQtpZwOsIyO6Q==")+"&serverAddress=http://127.0.0.1:11100",
}
}
}
</script>
etl-engine_v1.2.2
- etl-engine v1.2.2
当前版本最后编译时间20231123 - 技术支持
vx：weigeonlyyou - 修改轨迹
- etl_engine 完善元数据dataLen参数功能,增加对string类型截取能力
- etl_designer设计器 修复弹出 任务管理对话框 bug.
etl-engine_v1.2.1
- etl-engine v1.2.1
当前版本最后编译时间20231022 - 技术支持
vx：weigeonlyyou - 修改轨迹
- etl_engine 增加读Hbase节点
- etl_engine 增加写Hbase节点
- etl_engine MySQL_CDC及PG_CDC适配写Hbase节点
- etl_desinger设计器适配读、写Hbase节点
- 日志表名称及结构变更,变更内容以etllog_mysql.sql为准
etl-engine_v1.2.0
- etl-engine v1.2.0
当前版本最后编译时间20230918 - 技术支持
vx：weigeonlyyou - 修改轨迹
- etl_engine 增加MetaData元数据字段dataFormat,用于配置格式化输出时间类型数据
- etl_engine 增加MYSQL_BINLOG节点,实现实时同步MySQL数据库,并同步到其它MySQL、Oracle、PostgreSQL、Elastic、Hbase数据库,增量对比的另一套解决方案.
- etl_engine 增加PG_WAL节点,实现实时同步PostgreSQL数据库,并同步到其它MySQL、Oracle、PostgreSQL、Elastic、Hbase数据库,增量对比的另一套解决方案.
- etl_engine 增加PG_WAL2JSON节点,实现实时同步PostgreSQL数据库,并同步到其它MySQL、Oracle、PostgreSQL、Elastic数据库,增量对比的另一套解决方案.
- etl_engine 增加Connection数据源连接密码加解密能力
etl-engine_v1.1.6
- etl-engine v1.1.6
当前版本最后编译时间20230821 - 技术支持
vx：weigeonlyyou - 修改轨迹
- etl_designer 增加dashboard监控面板"成功率分析"监控分析
- etl_designer 增加dashboard监控面板"调度运行时长"监控分析
- etl_designer 增加dashboard监控面板"接口调用分析"监控分析
- etl_designer 增加dashboard监控面板"服务心跳分析"监控分析
- etl_designer 增加 运行嵌入脚本功能(模拟脚本执行场景)
视频地址 - etl_engine 增加MetaData元数据字段errDefault,解决输入数据向输出数据类型转换失败时,使用errDefault做为默认值,并允许任务继续向下执行.
etl-engine_v1.1.5
- etl-engine v1.1.5
当前版本最后编译时间20230723 - 技术支持
vx：weigeonlyyou - 修改轨迹
- etl_engine 增加了对InfluxDB多measurement模糊查询后输出多结果集的支持(如: select * from /t*/ )，适应多结果集输出场景。
- etl_engine 修改增量对比节点INCREMENT一次性(inputSourceFetchSize="-1")读取源数据bug.
- etl_designer 增加调度设计器中Job"运行模式"参数
- etl_designer 增加"日志分析"功能
etl-engine_v1.1.4
- etl-engine v1.1.4
当前版本最后编译时间20230622 - 技术支持
vx：weigeonlyyou - 修改轨迹
- etl_engine 为开发人员提供生成UUID字符串接口 common.GetUUID，
- etl_engine 为开发人员提供获取日志能力接口 common.GetLogger ，通过common.GetLogger().Infoln("输出日志")
- etl_engine 增加mq消费者（KAFKA）SASL认证功能（saslUserName和saslPassword属性）。
- etl_engine 增加mq消费者（KAFKA）指定分区数进行消费功能（allPartition和partition）。