-
Notifications
You must be signed in to change notification settings - Fork 29
工作日志记录
1123786563 edited this page Jun 19, 2020
·
8 revisions
组件代码流程大概明白了，试着新增一个组件，但是遇到很多代码问题。只能试着修改原有的组件功能。然后学习了解了一下其中的spring注解。
查阅调用Kafka相关资料，搭建Kafka环境，准备开发往Kafka发送消息的组件。
今天发现部分组件在web端会报错，如写到csv文件时候出现路径问题，还有文件编码问题。
跟踪代码已解决，其他组件还需测试修改。
搭建elasticsearch环境，调试往es里边写数据
学习datacleaner组件代码运行过程，大概了解其中逻辑，不清楚的还有参数传递、接口相互调用
开始从代码入手，分析逻辑，首先了解他注解的用法。知道了接口调用，并且能打断点调试。
上传总结文档，学习datacleaner 中kafka的数据清理解决方案，并且总结了
1. 完整性 Completeness：完整性用于度量哪些数据丢失了或者哪些数据不可用。
2. 规范性 Conformity：规范性用于度量哪些数据未按统一格式存储。
3. 一致性 Consistency：一致性用于度量哪些数据的值在信息含义上是冲突的。
4. 准确性 Accuracy：准确性用于度量哪些数据和信息是不正确的，或者数据是超期的。
5. 唯一性 Uniqueness：唯一性用于度量哪些数据是重复数据或者数据的哪些属性是重复的。
6. 关联性 Integration：关联性用于度量哪些关联的数据缺失或者未建立索引。
注意DataCleaner只是一个数据质量分析工具，而不是一个数据分析工具，只专注于数据质量问题的分析，而不是数据分析。这些DataCleaner提供的分析主要还是帮助我们来衡量数据的的完整性Completeness、规范性 Conformity、 一致性 Consistency、准确性 Accuracy、 唯一性 Uniqueness、关联性 Integration
找到GitHub上有发邮件的组件，版本比较老，迁移过来汉化并解决报错问题
看数据质控代码，代码逻辑不是很懂。看网上帖子教程，顺带复习了一下索引，二叉树，红黑树，B树，B+树
郑兴
通过帖子、论坛看数据质控相关知识，结合网上实例自己实操。
吴勇军
查阅了datacleaner官网资料，阅读现有较简单的组件代码，理解代码逻辑
查阅资料学习数据质控完整性，一致性，合规性，应用合理性等知识，
查阅datacleaner组件开发流程，对照现在组件代码尝试修改。
完成患者门诊处方主表、挂号明细表、住院医嘱主表、住院诊断明细表、住院药品医嘱明细表质控报告，其他表还在编写质控规则
问题
运行质控分析任务慢
1.测试库数据量太大，新搭建一个较小测试库。
2. 门诊处方主表 、门诊结算明细表 、门诊结算支付方式质控规则编写测试
1、将当前文档全部整理到GitHub上，方便查看
2、住院诊断明细表、住院医嘱主表质控规则编写测试
1、 梳理数据质控总体目标，制定近期工作目标（质控分析报告）
2、 整理每张表能做的质控，梳理质控规则
分析完患者信息表，正在对处方主表分析，对于数据量比较大的表，目前只取部分数据做分析，后边再对整张表做完整分析。
1、找到dashboard功能问题，正在解决。
2、解决汉化导致web端程序出错问题。
问题
在测试web端执行质控规则任务时候，当数据表的数据量大了，出现IO异常。
1.处理项目启动问题
2.连接三医库对患者信息表编写质控规则，执行任务， 并生成质控报告。
测试完成web端功能，dashboard功能点还存在问题，执行任务，数据库连接管理测试没有问题了。
组件汉化问题，使用其他技术来实现，需要重新评估工作量
1、 对组件使用注解来实现
2、 通过组件类名映射来来处理
熟悉datacleaner的功能并测试，发现pg数据库会报错。
移植完成web端程序，但web程序在执行质控任务时有些会报错，分析原因可能是汉化导致有些组件没找打
问题
1、打包编译gwt会出现windows命令超长，win命令最长32K
查阅资料后通过缩短maven仓库文件夹名称，然后在monitor-ui模块中屏蔽一些未使用的引用
郑兴
熟悉汉化版的datacleaner的所有功能并测试，检查出2项报错。
吴勇军
启动项目web项目报错，发现是因为gwt没有编译通过，查阅资料找原因
继续熟悉组件，并在熟悉过程中测试组件的bug
迁移完成监视器模块，现在web程序也可以启动起来。
遇到问题
1.Gwt编译js代码不成功
尝试升级gwt版本
2. 刚开始启动不起来
发现有一些包没有扫描进去
1. 结合网上论坛，帖子里面的实例，实现了功能更多的例子熟悉了软件基本使用；
2. 根据网上出现的问题，试着修改代码
迁移完监视器模块，解决完编译报错问题
遇到问题
1. 监视器模块依赖冲突
删除maven强制检查
2. 有些函数返回数据类型不一致
修改代码使其正确
陈祥铭
1. 学习桌面组件的功能与实现
2. 查看项目代码，分析结构与功能
更新代码，启动项目，熟悉组件，使用组件
1. 项目启动问题：jar包未下完整
解决方法：项目路径不能有中文，全局执行一次install。
2. 熟悉DataCleaner情况
对表格基本熟悉操作有所了解，如对一个字段判空，长度范围，日期转换等等；相对于比较复杂一点的功能还没搞懂。
迁移5.3.1版本的监控模块，解决了一部分编译问题
1. 移植代码过程中jar包版本较低没相关类文件
查阅metamodel官网介绍，高版本已移除，采用-使用Java 8功能类型（java.util.function）来支持（现已弃用）Ref，Action和Func
2. API和engin模块缺少相关class
找到5.3版本找到相应的class，复制过来解决报错问题
3. 有些测试代码报错
删除测试代码
运行DataCleaner项目，启动桌面应用，摸索与熟悉桌面应用的功能和使用。
1. 项目编译时遇到部分类找不到。全局执行mvn install命令，一次不行就多次
2. monitor（监视器）模块因为版本问题，被移除了，但是项目中还存在，所以直接删除源文件，解决报错。
组件库中的组件功能还在摸索中，简单的一些过滤器功能以及写入组件（例如Excel表，CSV文件等的生成）已经基本会使用。
- 向博士汇报工作，沟通最近几天的工作内容及后续方向；
- 添加全局api模块中部分类描述中文翻译；
- 同步更新至远程仓库；
- 添加api模块部分类描述的中文翻译；
- 添加monitor模块剩余的的类描述中文翻译；
- 更新到远程仓库；
- 对monitor模块的api中进行类描述翻译，并同步更新到远程仓库；
- 分类理解api提供了哪些方法；
- 处理monitor模块融合遇到的问题；
- 向博士汇报工作，提出遇到的困难，沟通解决方案；
- 根据上周的安排，重新整合datacleaner的monitor模块，对于高版本中不存在相关类、方法的问题，先坐注释处理，以达到能启动web服务的目的；
- 根据安排处理monitor模块融合出现的问题；
- 向博士汇报工作，提出遇到的困难，沟通解决方案；
- 测试datacleaner相关性能；
- 向博士汇报工作，提出遇到的困难，沟通解决方案；
- 查看metamodel的api；
- 继续处理datacleaner的web模块问题；
- 查找关于datacleaenr的api资料；
- 整理省上对接需要提交的资料；
- 整理服务器资源申请资料；
- 处理前期遗留的问题；
- 整理桌面程序组件功能分类；
- 寻找组件说明汉化的方法；
- 进行组件说明的汉化工作，需要在源码中调整；
- 梳理项目申请服务器资源的事项；
- 处理GitHub上代码回退的问题；
- 桌面程序汉化阶段完成，进行汇报；
- 进行组件说明的汉化工作；
- 项目中导入低版本中的monitor模块，进行整合；
- 处理整合过程中遇到的问题；
- 整合的代码同步更新远程仓库；
- 继续桌面程序汉化工作；
- 修复汉化出现的bug;
- 汉化桌面程序左侧树结构组件以外的地方；
- 测试datacenter某些功能；
- 远程仓库同步更新记录；
- 继续桌面程序的汉化工作；
- 将修改的文件提交至远程仓库；
- 继续进行组件的汉化工作，编写国际化配置文件；
- 参考官方文档，讨论执行任务流程；
- 对于所有的修改做好记录并提交至远程仓库；
- 梳理近期工作计划，并整理成文档成在Wiki中记录；
- 组件的汉化工作，编写en_US.properties和zh_CN.properties,并将更新提交至GitHub；
@Copyright (C) 2019-2019 四川省卫生健康信息中心