简易 Python 爬虫集合

两个 Python 爬虫项目：技术博客爬虫 + 招聘信息爬虫。

项目列表

1. 博客文章爬虫（crawler_ruanyf.py）

爬取技术博客首页文章列表，输出 JSON 和 CSV。

python crawler_ruanyf.py                 # 爬取首页
python crawler_ruanyf.py --page 2        # 爬取第2页

2. 招聘信息爬虫（crawler_jobs.py）

爬取 AI 相关岗位信息，含数据分析和结果导出。

python crawler_jobs.py                # 演示模式
python crawler_jobs.py --real --url <网址>  # 真实模式

技术栈

• Python 3.11+
• requests（HTTP 请求）
• BeautifulSoup4（HTML 解析）
• lxml（解析加速）
• JSON / CSV（数据导出）

输出

所有结果保存在 output/ 目录下，包含 JSON 和 CSV 两种格式。