Skip to content

amazon crawler、亚马逊分布式爬虫系统,已在生产环境中稳定运行两年,支撑每天5千万+爬取量,包含亚马逊前台所有数据的爬取,如亚马逊商品爬虫、亚马逊关键词爬虫(可指定邮编爬取)、亚马逊关键词广告爬虫、亚马逊5大榜单爬虫、亚马逊评论爬虫、亚马逊类目爬虫、亚马逊商户爬虫、亚马逊买家信息爬虫、亚马逊跟卖信息爬虫、亚马逊QA爬虫、亚马逊促销活动爬虫等

Notifications You must be signed in to change notification settings

Dml-2021/amazon-spider

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

5 Commits
 
 

Repository files navigation

amazon-spider

amazon crawler、亚马逊分布式爬虫系统,已在生产环境中稳定运行两年,支撑每天6千万+爬取量,包含亚马逊前台所有数据的爬取,如商品、关键词(可指定邮编)、广告、5大榜单、评论、类目、商户、买家信息、跟卖信息、QA、促销活动等

解决以下几个问题:

一、大规模爬取亚马逊前台所有数据,目前每天爬取6千万+数据;
二、反反爬,突破亚马逊反爬策略,稳定爬取;
三、获取高质量数据,当亚马逊风控系统怀疑你是爬虫后返回的数据质量将下降很多,比如返回的关键词页面、商品页面缺少广告数据;

合作方式

一、提供api接口
二、私有化部署

联系方式,微信:Dml-2021

About

amazon crawler、亚马逊分布式爬虫系统,已在生产环境中稳定运行两年,支撑每天5千万+爬取量,包含亚马逊前台所有数据的爬取,如亚马逊商品爬虫、亚马逊关键词爬虫(可指定邮编爬取)、亚马逊关键词广告爬虫、亚马逊5大榜单爬虫、亚马逊评论爬虫、亚马逊类目爬虫、亚马逊商户爬虫、亚马逊买家信息爬虫、亚马逊跟卖信息爬虫、亚马逊QA爬虫、亚马逊促销活动爬虫等

Topics

Resources

Stars

Watchers

Forks

Packages