PDF标准文档识别系统

基于pdfs/标准文件夹下的标准文件，提取特征信息并建立模型，然后验证I盘下所有PDF文件，将满足标准特征的PDF文件拷贝到"I盘标准"文件夹。

功能特点

• 智能特征提取: 从标准PDF文件中提取文件名和内容特征
• 机器学习模型: 使用随机森林算法训练标准文档识别模型
• 批量处理: 支持扫描整个硬盘并批量识别标准文档
• 自动分类: 自动识别国家标准、地方标准、行业标准、团体标准等
• 结果统计: 提供详细的预测结果和统计信息

系统架构

pdfFileProcessing/
├── config.py              # 配置文件
├── extractor.py           # 特征提取器
├── trainer.py             # 模型训练器
├── predictor.py           # 预测器
├── main.py               # 主程序
├── requirements.txt      # 依赖包列表
├── pdfs/
│   └── 标准/             # 标准文件目录
├── model/                # 模型文件目录
└── I盘标准/              # 输出目录

安装依赖

pip install -r requirements.txt

使用方法

1. 完整流程运行

python main.py

这将执行完整的处理流程：

1. 从 pdfs/标准/ 目录提取特征
2. 训练标准文档识别模型
3. 扫描I盘并识别标准文档
4. 将标准文档复制到 I盘标准/ 目录

2. 分步骤运行

步骤1: 提取特征

python main.py --step 1

步骤2: 训练模型

python main.py --step 2

步骤3: 预测并复制

python main.py --step 3

3. 自定义参数

# 指定目标目录
python main.py --target "D:/Documents"

# 指定输出目录
python main.py --output "./output"

# 组合使用
python main.py --target "D:/Documents" --output "./output"

标准文档类型识别

系统能够识别以下类型的标准文档：

• GB: 国家标准 (GB/T, GB)
• DB: 地方标准 (DB)
• NB: 行业标准 (NB/T, NB-)
• T: 团体标准 (T/)
• QGDW: 企业标准 (Q/GDW)

特征提取

文件名特征

• 标准类型识别
• 标准编号提取
• 年份提取
• 电动汽车相关关键词检测
• 标准相关关键词检测

内容特征

• 文本长度
• 标准关键词出现次数
• 电动汽车关键词出现次数
• 排除关键词出现次数
• 相关段落提取

模型训练

• 使用随机森林分类器
• 特征标准化处理
• 交叉验证评估
• 特征重要性分析

输出结果

系统会在输出目录生成以下文件：

• 标准文档: 识别出的标准PDF文件
• prediction_results.json: 详细预测结果
• standard_files.json: 标准文档列表
• prediction_stats.json: 统计信息

配置说明

在 config.py 中可以调整以下参数：

• 标准类型定义
• 关键词列表
• 模型训练参数
• 文件处理配置

注意事项

1. 确保 pdfs/标准/ 目录包含足够的标准文件用于训练
2. 目标目录必须存在且包含PDF文件
3. 系统需要足够的磁盘空间存储模型和输出文件
4. 处理大量文件时可能需要较长时间

故障排除

常见问题

1. 依赖包缺失: 运行 pip install -r requirements.txt
2. 目录不存在: 检查 pdfs/标准/ 目录是否存在
3. 权限问题: 确保有读写目标目录的权限
4. 内存不足: 处理大文件时可能需要更多内存

日志信息

系统会输出详细的处理日志，包括：

• 文件扫描进度
• 特征提取状态
• 模型训练过程
• 预测结果统计

扩展功能

系统设计为模块化架构，可以轻松扩展：

• 添加新的标准类型
• 优化特征提取算法
• 使用不同的机器学习模型
• 支持更多文件格式