Skip to content

zhaoyb/py_qualitis

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

5 Commits
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

qualitis

Python版的数据质量管理 支持对hive、 sql server、mysql数据源进行检查。 检测方式,包括月平均,周平均, 日平均,固定值。

参考了(Qualitis)https://github.com/WeBankFinTech/Qualitis
做了一个简易版的。

第一步: 新建数据库:qualitis

第二步 新建表:

DROP TABLE IF EXISTS `qualitis_result`;
CREATE TABLE `qualitis_result`  (
  `id` int NOT NULL AUTO_INCREMENT,
  `name` varchar(500) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin NULL DEFAULT '',
  `value` double NULL DEFAULT NULL,
  `create_time` datetime(0) NULL DEFAULT NULL,
  PRIMARY KEY (`id`) USING BTREE,
  INDEX `name_createtime`(`name`, `create_time`) USING BTREE
) ENGINE = InnoDB AUTO_INCREMENT = 2 CHARACTER SET = utf8mb4 COLLATE = utf8mb4_bin ROW_FORMAT = Dynamic;

SET FOREIGN_KEY_CHECKS = 1;

第三步:

sh run.sh

About

python版数据质量检查

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published