scrapy_sight

期间用到了user-agent， proxy， geocoding（baidu， google），以及提供了代理ip和城市，以及爬区后的样例.前端需要渲染的话要根据splash来渲染后再抓取

Contact Me QQ: 578634482

warning:

由于个人能力的原理， 无法解决编码问题， 所以编码环境为统一的gbk。
由于arango sdk封装的问题， 调用json的时候默认的编码为：utf-8。所以修改了模块pyArango.document.py@line:195为gbk。