Repository navigation
v0.2.0 · epiIngest(L1 数据接入)
L1 落地:epiIngest 0.2.0
EpiStack 的第二层。把「数据怎么进来」做扎实:多源读取 → 规则化质控 → 统一契约,下游一行不改。
安装
install.packages(
"https://github.com/Rythonme/EpiStack/releases/download/v0.2.0/epiIngest_0.2.0.tar.gz",
repos = NULL, type = "source"
)
library(epiIngest)纯 R,无需 Rtools。生成契约需要 epiCore(0.1.0 已发布),只读 + 质控不需要。
可选后端按需安装:readxl(Excel)、DBI(数据库)、terra(栅格)、openssl(脱敏哈希);
缺包时 epi_ingest_capabilities() 会明确告诉你缺哪个,不会静默降级。
这一版有什么
- 读取:CSV / TSV / 任意分隔符、UTF-8 / GBK / BOM 自动识别、目录多文件按列名对齐合并;
$data只放契约列,$raw保留原始列,$meta记编码 / 分隔符 / md5 / 转换失败数。 - 质控:声明式规则(必填、唯一键、数值范围、未来日期、日期断档、地区白名单、MAD/IQR、跨字段),
error 剔除 / warn 保留并标记,逐行留痕到行号;规则可存成 JSON 随项目走;
全局ingest_on_warn("drop" | "error")切换口径。 - 报告:控制台 / CSV(含逐行明细)/ 单文件 HTML,无外部资源、可离线打开、可直接发给数据提供方。
- 血缘:
ingest_lineage()记文件 md5、规则哈希、行数变化、包版本,可写 JSON 归档。 - 脱敏:加盐 SHA-256 假名(同盐同编码恒等,可纵向合并,无盐不可反查)+ 可选日期平移。
- 适配器:Excel / 数据库 / HTTP 接口 / 栅格 zonal 统计;HTTP 用 base R 实现,自带 JSON 解析。
验收
| 项目 | 结果 |
|---|---|
| 包单测 | 96 PASS / 0 FAIL |
R CMD check |
0 ERROR / 1 WARNING(中文注释可移植性)/ 0 NOTE |
| 契约等价性 | 与 epiCore::read_counts() 同输入逐位一致;切片 4161 → 4159 行,剩余行一致 |
| golden 冒烟 | 37 PASS / 0 FAIL,基线未改 |
主仓同步:L1 thin → formal,垂直切片改用 ingest_counts(),新增 ingest_l1 流水线阶段。