多进程爬虫

功能

• 多个进程抓链家网页
• 抓取记录保存在sqllite数据库，一天一个
• 分析抓取的数据

使用

• denglu.py 包括了登陆网站的用户名和密码
• RunMutiErShouFangMain.py 是启用多个进程抓取数据
• AdvancedAnalysiChengJiaoMain，AdvancedAnalysisErShouFangMain用于成交和挂牌数据的分析

注意事项

• 供技术学习，请勿用于商业目的
• 抓取的数据，分析等请勿乱发，后果自负。
• 爬虫抓取数据会给目标网站造成严重资源负担。请注意不要过度。
• 抓取的网站页面会经常变动，可能会造成解析问题

©2017 alex All Rights Reserved.