支持自如、蛋壳、房天下三家公寓的房价数据爬取。保存字段为房源名称、出租面积、租金。
代码使用 python2.7,依赖的库如下:
selenium(3.14.0)
opencv-python (3.1.0)
为了获取js生成的数据,我们使用 selenium 的 webdriver 模块调用 googledriver。需要下载 googledriver,地址为: https://sites.google.com/a/chromium.org/chromedriver/downloads (需要科学上网) http://npm.taobao.org/mirrors/chromedriver/ (国内可用)
下载时注意选择版本和自己的chrome浏览器版本对应。
代码整理干净了再更