Skip to content
This repository has been archived by the owner on Dec 30, 2017. It is now read-only.

ClericPy/Spider_on_Tianmao_and_Taobao

Repository files navigation

Spiders on Tianmao Taobao JingDong for Python 3.x

#这里的源码都是很久前刚开始入手python时候的练习代码,已经没有太大价值,代码规范、抓取思路都非常幼稚,关闭更新,仅作初学者参考使用

只放4个:

  • 京东、天猫、淘宝单功能爬虫Demo
  • 京东评论多线程爬取,并存入json
  • 单线程-爬取天猫单个商品所有评论Demo
  • 单线程-根据天猫店铺域名获取所有商品的ID返回为SET对象
  • 多线程-爬取天猫某商品所有评论

2014年5月30日 15:29:02

====================京东、天猫、淘宝单功能爬虫Demo测试结果=====================

商品ID 价格(原价) 1星 2星 3星 4星 5星 评论数 平均评分 好评数 好评率 中评数 中评率 差评数 差评率 :

967821 3199.00(3800.00) 19 7 35 175 556 792 5 731 0.924 42 0.053 19 0.023

本次京东爬虫执行时间约为: 0.48 s

商品ID、价格、评论数、评分、月销量、总库存:

39086934885 85.00 0 4.6 3 1315

本次淘宝爬虫执行时间约为: 1.13 s

商品ID、价格、评论数、评分、月销量、总库存:

36879577205 null 3730 4.8 3911 4309

本次天猫爬虫执行时间约为: 10.32 s

#下次补充多线程爬另2个电商网站的评论内容,以及天猫淘宝的根据店铺ID爬取所有产品

About

已废弃。 Spiders on Tianmao Taobao JingDong。停止更新

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages