租房爬虫工具

一个简易的租房信息爬虫工具

支持的网站

• 豆瓣
• 安居客
• 房天下
• 赶集网
• 链家
• ...

使用

1. pip3 install scrapy 安装 scrapy 框架
2. git clone git@github.com:idreamshen/tenement.git 获取最新代码
3. cd tenement 进入项目目录
4. 可以使用以下方式执行爬虫 ./crawl-all.sh 或 ./run.py