python-crawler-template

Python 爬虫开发模板

---

运行环境

使用说明

1. 创建 Github Repository 时选择这个仓库做模板
2. 修改 script/crawler-create.sql 建库脚本
3. 运行 python gen_pdm.py 脚本生成数据库 pdm 代码
4. 修改 src 下的爬虫代码（FIXME 和 TODO 标记的都需要根据场景修改），运行 python main.py 启动爬虫
5. 修改 autorun.yml，可通过 Github Actions 自动运行
6. 开启 Github Pages，指定目录为 master/docs