Skip to content

s-top/PythonCrawler

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

11 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

Python-MySql 爬虫

抓取淘宝商品标题,并将数据存入Mysql数据库

Python 2.x + Mysql

代码中以关键字"短裙"为例,抓取商品信息:

商品图片-商品名称-淘宝店铺名称-商品价格-运费-商品付款人数-商品评论数-店铺所在城市

商品图片 商品名称 淘宝店铺名称 商品价格 运费 商品付款人数 商品评论数 店铺所在城市
img name nick price fee sales comment city

其中:会存在为空值的情况

image

网站地址分为两种,每页有44件商品,总共100页:

"https://s.taobao.com/search?q=短裙&imgfile=&js=1&stats_click=search_radio_all%3A1&initiative_id=staobaoz_20171113&ie=utf8"

"https://s.taobao.com/search?q=短裙&imgfile=&js=1&stats_click=search_radio_all%3A1&initiative_id=staobaoz_20171113&ie=utf8&bcoffset=4&ntoffset=4&p4ppushleft=1%2C48&s=44"

找到网页中的数据,获取商品详细内容即可:

image

无聊写着玩。。。

我的博客,记录学习、记录生活:

https://s-top.github.io

About

爬虫-淘宝商品标题

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages