Repository navigation
Releases: ByteColtX/xzqh-crawler
Releases · ByteColtX/xzqh-crawler
Release list
2026-10-04 数据快照（新结构）
2026-10-04 数据快照（新结构）
- 数据来源：全国行政区划信息查询平台
- 抓取时间：2026-10-04 00:06:58–00:20:40（北京时间）
- 对应提交：
10900489d6364f62f07f9554be1cf1205c32c79d - 数据范围：L1–L4
- 记录数：L1=33、L2=333、L3=2,847、L4=39,006，合计 42,219
- 过滤规则：仅保存数字代码且长度符合层级规则的记录
新数据结构
| 表 | 用途 |
|---|---|
divisions |
行政区划：code, name, level, kind, parent_code, source_version, fetched_at |
crawl_runs |
抓取运行记录 |
crawl_tasks |
按运行、父级、目标层级记录任务及重试状态 |
division_rejections |
被代码校验拒绝的记录 |
与 2026-10-01 快照相比：type 改为 kind，移除 parent_name、name_path，新增 source_version；crawl_jobs 改为 crawl_runs 与 crawl_tasks。附带 schema.sql 可查看完整表、索引和约束。
兼容性：当前代码不自动迁移旧结构数据库。 请保留旧版快照，将新版解压到新路径；依赖旧字段的 SQL 查询需要调整。source_version 尚未由上游提供，本快照中为空；fetched_at 使用 UTC。
验证
- SQLite 完整性检查通过，外键违规为 0。
- 全国 L1–L3 共 3,213 条与当前接口全量一致；乡级抽查去重后 1,291 条（约 3.31%），按代码入库规则一致。乡级未进行全量逐条源核验。
- 本次 full 及后续 resume 链，按每个任务最新状态汇总，3,180 个任务全部成功。
- 快照保留原始抓取运行历史，因此仍能看到早期中断运行的
running状态和历史失败任务；这些不代表本次补抓后仍有未完成任务。 - 快照通过 SQLite 备份生成，包含已提交数据；解压后可作为独立数据库使用，无需 WAL/SHM 附件。
下载与校验
xzqh_20261004.db.gz：压缩 SQLite 快照schema.sql：完整数据库结构SHA256SUMS.txt：附件 SHA256 校验值
shasum -a 256 -c SHA256SUMS.txt
gunzip -k xzqh_20261004.db.gz数据库压缩附件 SHA256：
6d725c48eaf8978c4b0901b086279ff0fddf568055fc064063df13b7fd5da7e7
2026-10-01 数据快照
2026-10-01 数据快照
- 数据来源：全国行政区划信息查询平台
- 抓取日期：
2026-10-01 - 对应提交：
faef36f - 数据范围：
L1-L4 - 过滤规则：
非数字 code 不入库 - 记录数：
L1=33, L2=333, L3=2847, L4=39006, Total=42219 - Job 状态：
ok=451 - 产物：
xzqh_20261001.db.gz - SHA256：
9d0b80fe18be844b31e0a7c15f2bafe33ed00008a03c800f17fe7b7cd4ee0d59
随附 SHA256SUMS.txt 用于校验下载结果。
2026-05-03 数据快照
2026-05-03 数据快照
- 数据来源：全国行政区划信息查询平台
- 抓取日期：
2026-05-03 - 对应提交：
c15ed58 - 数据范围：
L1-L4 - 过滤规则：
非数字 code 不入库 - 记录数：
L1=33, L2=333, L3=2845, L4=38997, Total=42208 - Job 状态：
ok=450 - 产物：
xzqh_20260503.db.gz - SHA256：
54cc2051bd5c8c92980d18256febc8d2db835a9a4398cca8f8797e1d10663856
随附 SHA256SUMS.txt 用于校验下载结果。