Repository navigation
数据归档 v1.0
本 Release 提供论文《生成式人工智能冲击下城市就业技能结构重塑研究：基于招聘文本的技能抽取与大模型暴露度测度》的大体量数据包。Git 仓库保留论文、代码、正文图表和小型结果；原始抓取、清洗后主数据和全量静态抽取中间表通过本 Release 下载。
什么时候需要下载
- 只阅读论文、查看图片或检查正文表格：不需要下载本 Release。
- 需要复现实证流程、重新生成抽取结果或检查全量样本：下载全部附件。
- 只检查某一部分数据：可按下表选择附件。
附件说明
| 附件 | 内容 | 解压后路径 |
|---|---|---|
processed-51job-main.zip |
51job 清洗后社招主样本和校招清洗表 | data/processed/51job/ |
raw-51job-records.zip |
51job 原始 JSONL 抓取记录 | data/raw/51job/records/ |
raw-51job-manifests.zip |
51job 抓取 manifest、cursor 和进度日志 | data/raw/51job/manifests/ |
analysis-static-full.zip |
静态抽取全量中间表和完整 job-level 主表 | data/processed/analysis_static/ |
ncss-raw-and-processed.zip |
NCSS 原始记录、manifest 和清洗表 | data/raw/ncss/、data/processed/ncss/ |
analysis-local-supplement.zip |
大体量补充分析表 | analysis/job_level_scored.csv |
checksums-sha256.txt |
附件 SHA256 校验值 | 下载目录 |
恢复方式
- 切换到仓库
main分支。 - 下载需要的 zip 附件和
checksums-sha256.txt。 - 在仓库根目录解压 zip，保持压缩包内的相对路径。
- 使用 SHA256 校验附件完整性。
- 安装依赖后运行
src/中的脚本。
python -m pip install -r requirements.txt
python src/analysis_static/a_extraction/build_51job_master_static.py
python src/analysis_static/a_extraction/finalize_51job_master_static.py对应版本
- Git commit:
dcfa8641c10945ce59b8a46412aee4555504d843 - 归档分支:
main - 数据清单:
docs/数据Release清单.md