Skip to content

用python写爬虫访问lol.qq.com爬取英雄头像、皮肤原画及英雄故事

Notifications You must be signed in to change notification settings

halysl/spider-on-lol

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

38 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

  • v1.0为爬虫早期版本,详细内容请看v1.0/README.md
  • lol_spider为全程使用scrapy框架,添加必要说明,完善内部逻辑。
  • 爬虫主要爬取的网站是lol.qq.com
  • 现提供爬虫如下:
爬虫 使用方法 说明
LOLHeroNameSpider scrapy crawl LOL-Hero-Name 获取英雄名称,返回json
LOLItemNameSpider scrapy crawl LOL-Item-Name 获取物品名称,返回json
LOLItemPicSpider scrapy crawl LOL-Item-Pic 获取物品名称,下载jpg文件
LOLHeroAvatarSpider scrapy crawl LOL-Hero-Avatar 获取英雄头像,下载jpg 文件
LOLHeroSkinSpider scrapy crawl LOL-Hero-Skin 获取英雄皮肤,下载jpg 文件
LOLHeroSkinSpider scrapy crawl LOL-Hero-Story 获取英雄背景故事,返回json
  • 为了处理js,使用了splash
  • 具体实现过程参考loSpider/lolSpider/spiders

About

用python写爬虫访问lol.qq.com爬取英雄头像、皮肤原画及英雄故事

Resources

Stars

Watchers

Forks

Packages

No packages published

Languages