Crawler

进行商品信息和评论的爬取

用法

在项目中引入爬虫,示例:

keywords = ['手机', 'Phone']
from taobao_crawler.crawler import Crawler
crawler = Crawler(keywords, db)

Crawler(keywords, db) 中的 db 参见 :doc:`../utils/db`

crawler.item.run()

crawler.rate.run()

crawler.run()

存入 mongodb 的数据范例参见 :doc:`./item`, :doc:`./rate`

.. autoclass:: crawler.Crawler
    :members:
    :undoc-members:
    :show-inheritance: