Skip to content

v0.2.0 · epiIngest(L1 数据接入)

Choose a tag to compare

@Rythonme Rythonme released this 13 Nov 01:48
· 12 commits to main since this release

L1 落地:epiIngest 0.2.0

EpiStack 的第二层。把「数据怎么进来」做扎实:多源读取 → 规则化质控 → 统一契约,下游一行不改。

安装

install.packages(
  "https://github.com/Rythonme/EpiStack/releases/download/v0.2.0/epiIngest_0.2.0.tar.gz",
  repos = NULL, type = "source"
)
library(epiIngest)

纯 R,无需 Rtools。生成契约需要 epiCore(0.1.0 已发布),只读 + 质控不需要。
可选后端按需安装:readxl(Excel)、DBI(数据库)、terra(栅格)、openssl(脱敏哈希);
缺包时 epi_ingest_capabilities() 会明确告诉你缺哪个,不会静默降级。

这一版有什么

  • 读取:CSV / TSV / 任意分隔符、UTF-8 / GBK / BOM 自动识别、目录多文件按列名对齐合并;
    $data 只放契约列,$raw 保留原始列,$meta 记编码 / 分隔符 / md5 / 转换失败数。
  • 质控:声明式规则(必填、唯一键、数值范围、未来日期、日期断档、地区白名单、MAD/IQR、跨字段),
    error 剔除 / warn 保留并标记,逐行留痕到行号;规则可存成 JSON 随项目走;
    全局 ingest_on_warn("drop" | "error") 切换口径。
  • 报告:控制台 / CSV(含逐行明细)/ 单文件 HTML,无外部资源、可离线打开、可直接发给数据提供方。
  • 血缘:ingest_lineage() 记文件 md5、规则哈希、行数变化、包版本,可写 JSON 归档。
  • 脱敏:加盐 SHA-256 假名(同盐同编码恒等,可纵向合并,无盐不可反查)+ 可选日期平移。
  • 适配器:Excel / 数据库 / HTTP 接口 / 栅格 zonal 统计;HTTP 用 base R 实现,自带 JSON 解析。

验收

项目 结果
包单测 96 PASS / 0 FAIL
R CMD check 0 ERROR / 1 WARNING(中文注释可移植性)/ 0 NOTE
契约等价性 与 epiCore::read_counts() 同输入逐位一致;切片 4161 → 4159 行,剩余行一致
golden 冒烟 37 PASS / 0 FAIL,基线未改

主仓同步:L1 thin → formal,垂直切片改用 ingest_counts(),新增 ingest_l1 流水线阶段。