你的数据融合新助手
MyData是一个为业务可持续建设而提供服务的数据平台，如其名“我的数据”旨在让用户更好的掌控和使用数据。
数据资产是本系统的核心理念，将数据视为具有价值的资产，并采取适当的措施来管理、保护和使用，实现业务的增值和持续发展。
v1 数据集成：针对多应用之间数据集成的场景，为开发人员提供更安全、更方便的对接集成方案；（进行中）
v2 数据分析：基于集成的数据，为业务人员提供数据统计和分析服务；
v3 数据资产：基于集成和分析，融入数据资产管理模式，让数据成为企业优化和增益的资产；
基于Web API、Excel实现数据集成，简化跨系统之间的数据对接；
- 数据集成，打通业务之间的关联，形成业务融合；
- 基于 HTTP(S)协议 API 的应用之间对接数据；
- 为项目或组织构建数据中心，降低对接门槛；
- 通过Excel文件方便业务人员直接集成数据；
- 定位不是数据湖，不适用于将所有数据、文件都放到同一个系统里；
- 集成度高：通过API集成数据，没有数据库类型、开发技术等限制，有API即可对接；
- 数据安全：无需开放业务系统数据库；
- 零侵入性：无SDK，业务系统有API即可集成；
- 可控性高：统一调度集成任务，对业务系统几乎无感知；
- 复用性高：业务系统迁移、技术升级等，无需重复集成，API可用即可恢复集成；
- 私有部署：更好的数据安全和隐私保护，二次开发满足个性需求；
- 采用前后端分离框架开发；
- mydata-blade是平台后端，基于 SpringBlade 的boot版开发
- mydata-sword是平台前端，基于 Sword （React、Ant Design）开发；
- 依赖组件
- MySQL：存储管理数据，主流数据库方便维护和使用；
- MongoDB；存储业务数据；
- 支持大数据存储；
- 松散数据结构 适合自定义业务数据的扩展、分析和统计查询；
- 技术门槛不高，可单机可集群；
- Redis：缓存管理数据和定时任务；
详见部署文档：https://www.mydata.work/docs#/./docker/
- 交流Q群：
- 联系vx：lient321
-
任务管理
- 字段映射 新增{{$field}}格式，支持集成时获取仓库指定字段值，以便用于数据处理；
-
数据管理
- 业务数据 增加标识字段的查询功能；
- 增加Excel的导入、导出功能，方便业务人员集成数据；
-
系统定时
- 周期统计并更新业务数据量；
- 每天清理7天前未执行完成的日志记录；
-
租户管理
- 新增租户时，创建示例数据，包括1个默认项目、1个示例应用、2个示例API、1个示例数据、2个示例任务；
-
项目管理
- 新增项目时，自动创建一个该项目的默认环境；
-
定时任务
-
订阅、接收推送任务 支持重试机制，避免一次失败就结束 且不会发送通知邮件；
-
优化任务的调度控制流程；
-
订阅任务重试仍失败后 不自动结束任务；
-
- 定时任务
- 分批模式，因接口返回内容包含分页参数始终不同 导致死循环；
-
任务管理
-
提供数据任务 增加订阅模式，实现一个任务触发另一个任务获取数据；
-
多层订阅任务 支持串连执行，前置任务的业务数据支持共享给后置任务复用；
-
字段映射 支持{{field}}表达式，实现订阅任务从父任务获取数据；
-
字段映射 增加数据处理配置，实现获取和消费数据时的进一步处理，包括：
-
数值：加减乘除；
-
字符串：md5、base64、prepend、append；
-
日期：增加秒；
-
通用：置null、置empty；
-
-
字段映射 支持"/"前缀，实现从json根目录获取数据；
-
字段映射 支持"a.b.c"结构，实现从指定层级获取数据，结合"/"和prefix 实现更灵活的组合；
-
-
数据管理
-
数据量统计，按项目环境隔离 统计业务数据量；
-
显示有业务数据的环境，以便快速查看数据；
-
-
定时任务
-
消费数据的API为单个对象模式时 支持逐个发送多条数据；
-
消费任务的API 有body参数时，优先使用body参数传递数据；
-
-
API管理
-
header、param参数支持{field}表达式，实现调用接口时转换为指定业务数据作为参数；
-
增加body参数，支持环境变量、系统变量、数据变量；
-
-
定时任务
-
增加正在执行过程中的任务队列，不包含缓存中的任务；
-
任务恢复策略 不恢复正在执行中的任务，避免不必要的恢复；
-
-
数据过滤
- API提供数据时，将默认排除的标识字段值无效数据 转移到数据过滤中，作为邮件内容发送给任务负责人；
-
任务管理
- 增加应用选项，以便准确选择API，避免多个应用有相似API而不确定；
-
API管理
- 调式功能 补充环境全局header和param参数，支持系统环境和用户变量值的解析；
-
定时任务
- 增加JSON数组结构的解析处理；
-
定时任务
-
当数据因没有配置标识字段而被过滤时 任务日志缺少说明 且状态不准确；
-
修复单次数据都被过滤后即退出任务，不再执行下一次集成的问题；
-
修复停止的任务正在执行，导致结束后继续执行，与任务实际状态不一致；
-
-
数据管理
- 修复变更标识字段后 未同步更新对应任务 导致需要手动编辑保存的问题；
-
任务管理
- 修复创建其他环境任务时 可以选到其他项目的环境问题；
-
环境变量任务
- 修复任务启动异常问题；
-
任务管理
- 提供数据类型 增加“调用API”和“接收推送”模式选项，平台提供接口接收数据；
-
接收推送
- 新增接口，支持web hook或API主动推送数据，实现认证和接收推送的数据，并通过任务执行后续流程；
-
API管理
- url支持
{field}格式的变量 适配PathVariable模式，调用API时从数据中提取指定字段值并替换；
- url支持
-
任务管理
-
优化cron编辑器，减少占用空间；
-
简化任务卡片，其他信息通过点击显示；
-
订阅消费支持选择来源任务，以便指定触发执行的前置任务；
-
消费数据类型 增加“单数据模式”开关，以便发送一条记录时 用集合或单个对象；
-
增加下次执行时间，以便了解任务运行情况；
-
-
定时任务
-
任务日志 提前到存入缓存时就生成，以便了解任务运行情况；
-
增加数据对比，减少无变更数据的更新写入操作；
-
-
任务管理
- 消费数据类型任务，向API发送业务数据后 修复未接收返回和更新自定义变量的问题；
-
定时任务
-
增加数据批次标识，解决分批获取数据后订阅任务丢失数据问题；
-
修复过滤条件值类型不匹配问题；
-
-
任务管理
-
消费数据类型任务 新增“发送邮件”模式，将符合条件的业务数据导出excel 并发送到指定邮箱；
-
过滤条件支持字段之间的对比查询；
-
-
数据管理
- 字段类型，增加 数值类型（number）,支持浮点型数据 从而不会转为字符串；
-
集成管理
- 增加删除业务数据功能，方便调试阶段清理数据；
-
任务管理
- 提供数据类型任务的分批参数中，增加“两次获取相同数据即结束任务”的开关 以便控制任务正常结束或异常中止；
-
任务管理
-
任务周期 改用Cron编辑器；
-
过滤条件的字段 改用下拉框，避免填写出错；
-
日志列表 增加刷新按钮；
-
当选择发送邮件时，禁用分批模式；
-
-
定时任务
-
优化整体流程逻辑；
-
减少日志详情内容量，加快页面加载数据；
-
改用hashcode对比前后两次对比数据；
-
失败任务 1分钟后重试，最多5次；
-
-
环境管理
- 编辑环境 支持修改所属项目；
-
任务管理
-
修复创建任务时，API列表未按类型正确加载问题；
-
修复字段映射表格 初始加载时不显示数据问题；
-
修复选择其他环境时 未排除当前环境选项；
-
修复日志列表 初始显示上次查看的任务日志记录问题；
-
-
定时任务
-
修复数据类型转换的空指针转为“null“字符串问题；
-
修复内置变量值在任务执行过程中不更新问题；
-
-
数据管理
- 修复数据编号重复校验 未按项目隔离，导致跨项目无法创建相同编号数据；