Skip to content

iamlockelightning/JDItemCrawler

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

1 Commit
 
 
 
 
 
 

Repository files navigation

京东商品爬虫

基于 python + selenium 的动态加载网页爬虫。可以对京东商场一个类别、品牌下的商品进行信息抽取,商品信息包括名称、价格、基本信息、评论等。

依赖

使用流程

  1. 安装依赖
➜ pip3 install -r requirements.txt
  1. (依不同需求修改代码后)执行程序
➜ python3 main.py

配置说明

if __name__ == "__main__":
    options = Options()
    options.add_argument("--headless")
    options.add_argument('--no-sandbox')
    options.add_argument('--disable-dev-shm-usage')
    
    # 选定浏览器内核
    browser = webdriver.Chrome(options=options) # Chrome # Edge # Safari # Firefox

    CLASS_LIMIT = 36            # 爬取的目标类别下的品牌数上限
    PAGE_LIMIT = -1             # 爬取的每一品牌下商品的页数(每页60个商品,-1表示爬取全部商品)
    COMMENT_LIMIT = 5           # 爬取的每一商品评论的页数(每页10条评价,-1表示爬取全部评价)

    # 爬取类别下的品牌名称
    CLASS_URL = "https://search.jd.com/Search?keyword=%E6%89%8B%E6%9C%BA&enc=utf-8&pvid=c4aedc3cb84146e89fde7b8901f19cf5"   # 需制定类别URL
    if os.path.exists("classes.txt"):
        classes = []
        with open("classes.txt", "r") as fr:
            for line in fr:
                classes.append(line.strip())
    else:
        classes = get_item_classes(browser, CLASS_URL)
        with open("classes.txt", "w") as fw:
            for c in classes:
                fw.write(c + "\n")
    print("__Done! classes")

    # 依据品牌列表,爬取每一品牌下的商品
    matches = [f for f in os.listdir() if f.startswith("item_urls")]
    if len(matches) != 0:
        item_urls = []
        for m in matches:
            i_u = []
            with open(m, "r") as fr:
                for line in fr:
                    i_u.append(line.strip())
            item_urls.append(i_u)
    else:
        item_urls = []
        for c in classes[:min(CLASS_LIMIT, len(classes))]:
            print("extract brand:", get_brand(c))
            item_urls.append(get_item_urls(browser, c, limit=PAGE_LIMIT))
        for i in range(len(item_urls)):
            with open("item_urls_" + get_brand(classes[i]) + ".txt", "w") as fw:
                for item in item_urls[i]:
                    fw.write(item + "\n")
    print("__Done! item_urls")

    # 依据商品列表,爬去每一商品的信息
    for i, urls in enumerate(item_urls):
        if len(matches) == 0:
            brand = get_brand(c)
        else:
            brand = matches[i].split("urls_")[1][:-4]
        print("extract brand:", brand)
        data = parse_item_pages(browser, urls, limit=COMMENT_LIMIT)
        print("brand:", brand, "\tdata num:", len(data))
        with open("data_" + brand + ".txt", "w") as fw:
            for d in data:
                fw.write(json.dumps(d) + "\n")
    print("__Done! data")


    browser.close()
    browser.quit()

抽取结果示例

结果存为json格式,一行一条商品信息。(示例为格式化后结果)

{
    "overall_tag_list":[
        "画面清晰细腻(1491)",
        "真彩清晰显示屏(1491)",
        "漂亮大方(1303)",
        "响应速度飞快(1218)",
        "使用舒适(787)",
        "色彩饱满(339)",
        "持久耐用(335)",
        "性能一流(319)",
        "配置超棒(115)",
        "拍摄功能强(83)",
        "空间充足(61)"
    ],
    "title":"荣耀8X 千元屏霸 91%屏占比 2000万AI双摄 4GB+64GB 幻夜黑 移动联通电信4G全面屏手机 双卡双待",
    "comments_in_pages":[
        {
            "text":"这款手机的质量还是不错的,给家里的老人买的,很喜欢,屏幕大字体也可以调的很大,而且打游戏特别爽,还能够看电视,看电影很方便,而且续航能力也不错,充一次电可以管一天是没有问题的,荣耀8x实在很良心,做工也是非常不错的,屏幕非常清晰,而且很流畅,系统很流畅,不卡断",
            "membership":"PLUS会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-02-16 20:35"
            ]
        },
        {
            "text":"手机屏幕大,反应灵敏,给老人用的,比以前的手机好用多了,信赖荣耀的品质。很好用,老人很开心,可惜不能用优惠券。其他都好。",
            "membership":"普通会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-04-04 18:10"
            ]
        },
        {
            "text":"这款X8大气,漂亮,手感好,速度快,大爱。荣耀手机质量一直杠杠的,耐用,屏幕牢靠,前几天跑步不小心从口袋掉地上了,一点没坏?",
            "membership":"普通会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-01-19 11:23"
            ]
        },
        {
            "text":"公司指定型号,指定产品,指定品牌,这款已经买了很多部了,公司内部员工使用,整体性价比很高,整体性价比较高,使用后反应还很不错,样式也很新颖,电池也比较好用,自带贴膜,比较人性化",
            "membership":"PLUS会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2018-12-20 18:46"
            ]
        },
        {
            "text":"首先就是屏幕不错,6.5寸的屏幕手机尺寸并没有想象中那样大,整个机身算得上轻薄,做工很千元机,中规中矩,海思麒麟710F的处理器应付一般的游戏比如《王者荣耀》《穿越火线·@战王者》《时空召唤》《刺激战场》等热门网游也算够用,这个后期追评。到手第一感觉就是,真的屏占比真的好大,显示比较细腻,作为AI拍摄的主力军,荣耀8X的拍照水平以及优化,拍摄可玩性都是比较高的,指纹识别非常迅速,人脸识别也算可以,暗光有几率识别失败。出厂到手,安卓系统8.0版本,EMUI我的是8.1,第二天更新到8.2版本,体验还好,比较方便。手势识别真的蛮不错,有三种方案可选择,实用性很强,而且屏内虚拟按键并没有占据太多的空间,在保证实用的同时又做到了节省屏幕内空间,很赞,而且可以选择自动隐藏,加上了屏幕体验。第一上手使用感觉大概就是这些,多了不啰嗦,后期追评关于游戏体验,电池续航以及日常使用体验。",
            "membership":"PLUS会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-04-02 00:13"
            ]
        },
        {
            "text":"用起来非常棒,做工十分精致,手感不错。尤其是随机自带贴膜和手机壳(透明塑料壳),免去了很多麻烦。系统流畅,画面清新靓丽,观感很好。拍照在同价位中数一数二,画质也很清晰。价格实惠,1299元入手?",
            "membership":"PLUS会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-01-04 10:09"
            ]
        },
        {
            "text":"自带很多软件,手机运行流畅,机身双摄影,摄影效果很清晰,机体很漂亮。带电量也很大,没有打游戏看视频,用一整天后才用了不到50%",
            "membership":"普通会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-02-15 22:10"
            ]
        },
        {
            "text":"我表哥拿着一个8X 6+128版本的,看着不错,就给我老爸买个,我姐又给我姐夫买个6+64的哈哈哈。。。新手机很快,4+64够用了,手机是长条形的,适合手拿,手感不错,希望用久了不会很卡。对了,这个低配版只有线上有,实体店没有卖。又送了耳机,自拍杆,比较实用。可以推荐大家购买!",
            "membership":"普通会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-02-20 21:46"
            ]
        },
        {
            "text":"各方面都比较满意,第一眼看到,就觉得外观、性能、价格都比较符合我的要求。使用了一段时间,终于来作一个评价。外观方面:屏占比高。玻璃机身手感和观感都很好。做工精细;系统:运行流畅,不卡顿,发热完全没感觉(不打游戏);显示:显示效果细腻,结合高清屏和护眼模式看着舒服;续航:超出预期,电池容量1.5天以上,续航能力明强,是一款高性价比的手机。",
            "membership":"普通会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-03-26 20:55"
            ]
        },
        {
            "text":"外观精致,手感完美,电池耐用,操作流畅,我咋感觉不像千元机呢,哈哈,反正比我2998的vivo手机号,各方面都表现很好,支持国产,华为威武!",
            "membership":"普通会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-04-29 15:18"
            ]
        },
        {
            "text":"手机运行流畅,吃鸡游戏略有卡顿,看高清电影无压力,整体手感很好,大小合适,没有想象中那么大,电池比较耐用,基本上两天左右充一次电,买来给老人玩~用的。手机自带硅胶套,屏幕自带薄屏贴,非常实用。",
            "membership":"PLUS会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-01-05 10:27"
            ]
        },
        {
            "text":"超级喜欢,大屏幕真过瘾,比我的8P还大。送个妈妈,老妈很满意哦,显示屏超高清,运行速度快。棒棒哒,就是没有耳机?,我觉得很奇怪。",
            "membership":"普通会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-04-21 21:20"
            ]
        },
        {
            "text":"比想象中的好很多,大屏,给爸爸买的,应该会很不错,把自己给挑大了,速度很快,很对得起这个价格,而且,带着的,贴好的膜,还有一个塑料的保护套",
            "membership":"PLUS会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-02-09 01:05"
            ]
        },
        {
            "text":"手机整体不错,操作流畅,手感非常好,后屏的双色设计很像卡片相机,质感很好。只是8的系统略微有点遗憾,要是9就更好了。屏幕不闪屏,很棒!",
            "membership":"PLUS会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-04-13 21:22"
            ]
        },
        {
            "text":"给老人买的大屏机,触感灵敏,屏幕清晰,来电铃声响亮,屏幕尺寸比例合适,适合单手拿握,最重要的是不操作的情况下(开启4G网络)一天只掉1-3个电,特别适合家里80岁老人使用。",
            "membership":"PLUS会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-01-31 00:00"
            ]
        },
        {
            "text":"买之前对比了同事的荣耀8X和红米note7,真心觉得米手感好,但是这是买给老爹用的,再加上我手里的荣耀十,老妈手里的Nova2,都用一个牌子比较方便。上手玩了两天了,还没充过电,电池是真的强大,护眼模式特别喜欢,贼好用。吃鸡王者没试过,如果有看重性能的,可以考虑下中高端旗舰。",
            "membership":"PLUS会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-02-01 06:12"
            ]
        },
        {
            "text":"物流快!手机外观漂亮!时尚,大气!做工细致,四角圆润,喜欢那机身侧面银边非常漂亮,整机摸起来很舒服,挺滑的!分辨率清晰,音量大,运行还可以吧!很便宜,性价比值!",
            "membership":"PLUS会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-02-17 12:19"
            ]
        },
        {
            "text":"很棒,确实千元霸屏,弄的我现在都不爱用苹果了,把另一个卡从苹果手机拆下来两个卡放一起,好处多多,可以拦截骚扰推销电话,电池还多,相当于两个苹果的电量,出门再也不用担心没电了",
            "membership":"普通会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-05-01 17:29"
            ]
        },
        {
            "text":"包装很精美用心,拆的过程感受到诚意,很舒服,手机外观漂亮,款式好看,质量很好,正品,做工精致,屏幕细腻够大很清晰,色彩饱和度很不错,系统功能强大,运行速度很快,内存也足够,拍照很清晰,用着很舒服,玩吃鸡也不卡,耗电量也可以,背面手感很好,指纹识别灵敏方便,面部识别也不错,玩游戏加载超级快,照相机平常用用很足够,很满意的手机,华为自带的很多智慧化细节,也让这个机子操作性满分。性价比蛮高的,而且价格还实惠便宜,希望华为越做越好,支持华为,超喜欢~~",
            "membership":"PLUS会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-03-16 14:41"
            ]
        },
        {
            "text":"支持国货,而且手机相当不错,运行很快,贴膜已贴好,水晶套已配齐,给老人用,配置不用太高,把界面调整的干净利索,一目了然,操作方便。快递小哥送件前电话确认。",
            "membership":"普通会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-01-02 15:45"
            ]
        },
        {
            "text":"使用了10天,谈谈感受:1、京东快递很好,安全措施到位。优点:1、做工精细,手感稳沉,握持感好;2、屏幕占比很惊艳、靓丽耀眼但不刺眼,眼睛很舒服;3、待机长,充满电,玩玩~、~、打电话、看新闻、等,大约两天半;4G的运行内存,一般正常使用2.5-3.1G;64G存储;4、手机共有3个卡位,可放2张小卡和一张存储卡,这要赞下,很人性化。华为一直不错,全家都用他,赞一个!",
            "membership":"普通会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-02-14 11:57"
            ]
        },
        {
            "text":"拿到手感觉,确实挺大的,屏占比很高,玻璃后盖质感真的很好,感觉千元机能做成这样真的很良心了,手机也很有份量,屏幕显示我感觉OK,系统也流畅,之前用的也是荣耀,所以换机很方便,布局也没有变,很好用",
            "membership":"普通会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-01-18 18:36"
            ]
        },
        {
            "text":"速度不错,运行很快,主要外观颜值真的很高,颠覆了我对华为机的新理解,和我苹果max一样大小,1万多和这个1千多的,样子真没啥区别……晕了……唯一不满意的不是t-c的充电接口,宁可多花两百块……哎",
            "membership":"普通会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-01-28 19:45"
            ]
        },
        {
            "text":"显示效果:很好!符合这个价位吧 运行速度:运行速度很快!普通市面上的游戏都可以完美运行 通信音质:华为信号我个人感觉是最好的,地下室其他手机没信号,我的就有,哈哈 电池续航:待机差不多两天多,正常使用早上到晚上还剩下4.50的电,还可以! 拍照效果:上传的图片就是8x黑色拍的,还可以吧!符合这个价位!",
            "membership":"PLUS会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-03-11 19:46"
            ]
        },
        {
            "text":"确实很惊艳,当时看图片感觉一般,但是真正拿到手上的时候,真的是惊艳到我了,手感特别好,重量适中,这个是给我妈买的,我妈也不玩游戏,就用用~,看看头条什么的,这个配置够用了,简直是物美价廉!综合来说,总体好评!",
            "membership":"PLUS会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-04-03 09:26"
            ]
        },
        {
            "text":"手机屏幕好大,感觉不错,系统上面应该比vivo的用起来方便,千元机中应该算很好的,jwjskkdjfhdjskk听说评论字多有好处哦,下面的就别看了,我乱打的,还不信,那你继续看,看,对不对",
            "membership":"普通会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2018-11-27 09:41"
            ]
        },
        {
            "text":"很惊艳了。外形时尚,不沉,拿着手感很好,屏幕超清的,使用也流畅。而且自带高清膜,我不知道又买了钢化膜,送了原装耳机,整体感觉非常满意了。第一次用华为的手机,很刷好感度的",
            "membership":"普通会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-02-25 10:10"
            ]
        },
        {
            "text":"昨天下单,第二天就收到货啦,京东就是快!手机看起来很舒服,手感也不错?,屏幕分辨率也很高,眼睛很舒服?!功能齐全又强大,使用贴心,反应速度快!电池续航性能好,看视频玩游戏也足够!美中不足的是没配耳机?,不过这个价位也还公道!看今后使用的体验吧,期待……",
            "membership":"普通会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-04-15 16:18"
            ]
        },
        {
            "text":"好看好用,千元屏霸,无与伦比,三千的手感外观,一千多的价格,像素高,反应速度快!荣耀越来越好了,家人也很满意,待机时间也能用两天,全网通用啥卡都行,已经买第三部了!可怜我对这个型号的喜欢,京东物流太快了,",
            "membership":"PLUS会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-03-09 13:11"
            ]
        },
        {
            "text":"8X的边框真的惊艳做工很好很精致,MI8 Lite做工比不了屏幕也比不了。但是刚需快充首发时买了小米。8X和OPPO K1比荣耀的质感更好一点,但我比较喜欢k1 的三星OLED晚上纯黑背景下的纯粹,系统说实话O家的最干净,而且吸收了BUGME的精华,很漂亮,但是总之8X是千元标杆没错了。",
            "membership":"PLUS会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-02-10 10:16"
            ]
        },
        {
            "text":"感谢老爸老妈给我照顾宝宝,同时买了米8青春和荣耀8x各一台,米8青春选的金色给老妈,荣耀8x选的黑色给老爸,老爸喜欢硬朗些的米8青春机子在盒内固定的很好,荣耀8x在盒内晃晃的,米8青春屏小一些,荣耀8x屏比大一些,都是刘海头,照相机像素挺清晰的,荣耀8x买的是4g内存的,米8青春买的是6g的,荣耀8x内有三个卡槽,一排好长,米8青春两个卡槽,不过我都用来给父母各装一个microsd卡,荣耀8x自带的软件有些多,米8的字号感觉比荣耀8x大,看起来大小更适合。其实父母年龄大了,一般就用来qq、~、看看网页新闻、看看剧之类,都够用了,反正感觉麒麟710和骁龙660都差不多,将旧手机的信息照片一键换新机到新手机内,两者都能设置了全面屏手势,很简单,老爸老妈很快就会用了,用了一天暂时没有问题出现,老爸老妈很高兴?,在网上又买了手机套和保护膜等着到货装上。",
            "membership":"普通会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-01-24 20:50"
            ]
        },
        {
            "text":"?6s丢了,隔天在京东看了外观很好看,果断下单一台8x,用了一段时间了,双卡双4G自由切换很好用,信号、音质都还不错,电池续航也不错,不用像用6s时,随时找地方充电或充电宝了",
            "membership":"普通会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-01-22 22:59"
            ]
        },
        {
            "text":"质量很好,给家里的老人买的,很喜欢,屏幕大字体也可以调的很大,声音也大,系统流畅,画面清新靓丽,观感很好,手感也好",
            "membership":"PLUS会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-02-28 11:29"
            ]
        },
        {
            "text":"可以说是非常满意了,物流快,手机给妈妈当做入门机,买的3+32的不卡,如果卡,推荐你们一个方法,去安全中心把省电模式打开,勤清理后台,不会卡的,因为买的钢化膜没到,所以没撕手机的膜,这个手机不可以打游戏!!!处理器不支持,想打游戏别买这个,这个当个备用机,或者入门机是不错的选择!买3+32的!!!16g太小,肯定卡!!!可以买来给孩子戒游戏哦!??给孩子戒游戏肯定很好的",
            "membership":"PLUS会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-04-25 13:50"
            ]
        },
        {
            "text":"手机收到,物流超快,在农村也能第二天到达,手机颜值杠杠的,手感不错,运行流畅,速度快,感觉比我的荣耀play还快,当然大游戏加载还是比play慢些,但悬殊不大,从运行速度和颜值,手感来说不像千元机。赞赞赞",
            "membership":"普通会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-02-15 18:45"
            ]
        },
        {
            "text":"给老爸买的,屏幕很大,分辨率对于要求不高的人来说已经非常不错了,电池续航也还不错,老爸不玩游戏,只看网页基本三天一冲相信京东",
            "membership":"普通会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-04-11 19:53"
            ]
        },
        {
            "text":"手机备用机,摄影刷~用!对于男士来讲,手握大小合适,看图屏幕大,揣兜也方便!很不错!",
            "membership":"PLUS会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-02-12 11:18"
            ]
        },
        {
            "text":"快递很快就送到了 手机造型很好看 屏幕很大 分辨率很高 系统运行一点都不慢。还贴好膜 送了手机套。买给爸妈用的 很适合",
            "membership":"普通会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2018-12-31 09:19"
            ]
        },
        {
            "text":"整体还不错 手感 很好很满意,重量 和我的7P差不多,但是反应有时会卡,毕竟千元机 能做成这样已经很不错了,手感不得不说很不错 还有舒服的就是指纹解锁 很人性化,解锁方便舒服!",
            "membership":"PLUS会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2018-10-03 17:17"
            ]
        },
        {
            "text":"手机用的非常酷炫,妈妈非常喜欢,用着手感很好,反应速度很快,面部识别,还有指纹识别都特别灵敏敏!",
            "membership":"PLUS会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-04-08 20:21"
            ]
        },
        {
            "text":"很不错,给老人买的,手感很好,本来想买小米note7,无奈耍猴,所以买了这个,玩了几把王者,效果开最高,很稳定,比我的小米8se稳定太多,小米se来不来就460或者断网,简直垃圾一般,唯一说的京东的券这个手机不能用,坑比",
            "membership":"普通会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-02-23 10:25"
            ]
        },
        {
            "text":"华为大品牌,质量可靠,手机真的很漂亮,相机拍照效果很好,屏幕分辨率清晰,操作灵活,手机电池待机时间长,外观设计漂亮,质量很好,有需要的可以放心购买,真的很不错",
            "membership":"PLUS会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2018-12-28 17:48"
            ]
        },
        {
            "text":"一直使用荣耀手机,感觉很好,手机运行超级流畅,外观也超级好看,后盖随着光线角度不同可以变靓色,颜色超级漂亮,AI更加使用,智能唤醒超实用!照相机更加智能化,功能强大,拍照清晰好看,超级棒!充电也很快,收到后,试了一下,耗电不快,总体来说,荣耀手机非常满意。用着也很不错,速度很快,指纹解锁和面部识别功能都很快,卖家服务也很好,五颗星五颗星,愉快的一次购物!以后还会继续支持华为",
            "membership":"PLUS会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2018-12-21 09:49"
            ]
        },
        {
            "text":"昨晚上九点半下的单,第二天下午就收到了,这物流速度太快了,手机实物比网上图片要漂亮的多,赠送的耳机和自拍杆出乎意料的好,手机外观真心的漂亮,跟高端货没啥区别,操作手感非常舒服,屏幕特别柔和细腻,我只玩了玩穿越火线,比以前的手机强太多了,安兔兔得分不到14万,",
            "membership":"普通会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-02-25 00:24"
            ]
        },
        {
            "text":"首先京东自营的物流没得说,当天就到了。到手当时就体验了一下,颜值很高,还算流畅,目前就发现刷~翻页会卡一下,电池耐用,打一把王者百分之三左右,一把二十几分钟。再说音质,一个词刺耳,对外放音质要求比较高的同学不建议购买,华为麦芒6的音质我觉得挺不错,一对比,这个就太差了。玩游戏的话没卡过,当个备用机凑合用。",
            "membership":"普通会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-03-23 20:52"
            ]
        },
        {
            "text":"外观千元机中很不错的,日常使用足够了。电池使用的时间足够长,虽然华为手机系统可玩性不高,系统还是很稳定的,适合不玩游戏,对拍照没有特别要求的朋友。",
            "membership":"PLUS会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-01-11 21:32"
            ]
        },
        {
            "text":"拿到手机的第一眼就很喜欢哦,屏幕大看新闻不错,照相的功能也很多,聊天不用打字,直接说普通话就可以,很方便的",
            "membership":"普通会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2018-09-12 19:08"
            ]
        },
        {
            "text":"给老爸买了,送货很快,配送很好,外观很好看,面部识别指纹识别很快,平常都是简单了操作,不打游戏,待机时间长,耐用,只是拍照实在垃圾,还不如原先了7x,感觉是500万像素",
            "membership":"普通会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2018-09-24 15:24"
            ]
        },
        {
            "text":"很不错的手机,质量杠杠的,很是喜欢,续航能力比苹果强多了,虽然像素比我的苹果的高。但是拍照质量可能没有苹果好,外观很好看。",
            "membership":"PLUS会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2018-12-18 20:24"
            ]
        },
        {
            "text":"机大小刚刚好 像素也还可以,拍照片比我的MATE10还清晰, 值这个价钱 没有网友说的屏幕花啊 可以拉一张纸 打开每个软件也很快 暂时没发现什么其他不好的 之后在追评吧 物流真的是很快。",
            "membership":"普通会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-01-20 13:38"
            ]
        }
    ],
    "total_comment_num":"155万+",
    "attr_val":[
        [
            "品牌",
            "华为(HUAWEI)"
        ],
        [
            "型号",
            "荣耀8X"
        ],
        [
            "入网型号",
            "JSN-AL00a"
        ],
        [
            "上市年份",
            "2018年"
        ],
        [
            "上市月份",
            "9月"
        ],
        [
            "机身颜色",
            "幻夜黑"
        ],
        [
            "机身长度(mm)",
            "160.4mm备注:实际尺寸依配置、制造工艺、测量方法的不同可能有所差异。"
        ],
        [
            "机身宽度(mm)",
            "76.6mm备注:实际尺寸依配置、制造工艺、测量方法的不同可能有所差异。"
        ],
        [
            "机身厚度(mm)",
            "7.8mm备注:实际尺寸依配置、制造工艺、测量方法的不同可能有所差异。"
        ],
        [
            "机身重量(g)",
            "约175克(含电池)备注:实际重量依配置、制造工艺、测量方法的不同可能有所差异。"
        ],
        [
            "输入方式",
            "触控"
        ],
        [
            "运营商标志或内容",
            "其他"
        ],
        [
            "机身材质分类",
            "金属边框;玻璃后盖"
        ],
        [
            "机身材质工艺",
            "卡托:金属+塑胶 后盖:玻璃 边框:铝合金"
        ],
        [
            "屏占比",
            "91%(可视区域/屏幕尺寸)"
        ],
        [
            "操作系统",
            "Android"
        ],
        [
            "操作系统版本",
            "Android 8.1"
        ],
        [
            "CPU品牌",
            "海思(Hisilicon)"
        ],
        [
            "CPU频率",
            "4 × Cortex A73 2.2 GHz + 4 × Cortex A53 1.7 GHz"
        ],
        [
            "CPU核数",
            "八核"
        ],
        [
            "CPU型号",
            "Hisilicon Kirin 710* (*因使用多种封装工艺,Hisilicon Kirin 710处理器系列包含Kirin 710和Kirin 710F,功能参数一致)"
        ],
        [
            "GPU型号",
            "Mali G51"
        ],
        [
            "双卡机类型",
            "双卡双待单通"
        ],
        [
            "最大支持SIM卡数量",
            "2个"
        ],
        [
            "SIM卡类型",
            "注:同时支持两张nano-SIM卡和一张microSD卡插入"
        ],
        [
            "4G网络",
            "4G:移动(TD-LTE);4G:联通(FDD-LTE);4G:电信(FDD-LTE);4G:联通(TD-LTE)"
        ],
        [
            "3G/2G网络",
            "3G:移动(TD-SCDMA);3G:联通(WCDMA);3G:电信(CDMA2000);2G:移动(GSM)+联通(GSM);2G:电信(CDMA)"
        ],
        [
            "网络频率(4G)",
            "主卡: LTE FDD: B1/B3/B5/B8 TD-LTE:B38/B39/B40/B41 TD-SCDMA:B34/B39 WCDMA:B1/B5(漫游)/B8 CDMA (3G):BC0 CDMA(2G)(主副卡二选一): BC0( 800MHz);(仅限中国电信(中国大陆+澳门)) GSM:B2(漫游)/B3/B8"
        ],
        [
            "网络频率(2G/3G)",
            "其他"
        ],
        [
            "副卡网络频率",
            "LTE FDD: B1/B3/B5/B8 TD-LTE:B38/B39/B40/B41 WCDMA:B1/B5(漫游)/B8 CDMA(2G)(主副卡二选一): BC0( 800MHz);(仅限中国电信(中国大陆+澳门)) GSM:B2(漫游)/B3/B8"
        ],
        [
            "数据业务",
            "TD-LTE/LTE FDD/TD-SCDMA/WCDMA/HSPA+/DC-HSDPA/CDMA2000/CDMA1X/EDGE/GPRS"
        ],
        [
            "是否支持同时使用联通卡",
            "不可同时上网,仅支持卡A上网,卡B通话。"
        ],
        [
            "其他",
            "备注: *各个地区的网络和频段可能有所不同,具体取决于当地运营商以及您所在的位置。 *4G业务需要对应的4G卡支持,在手机开启4G开关时,4G网络会频繁拒绝没有开通4G的SIM卡,导致频繁掉网。您可以选择关闭4G业务开关,或者联系对应的运营商开通4G业务。 *CDMA仅限中国电信(中国大陆+澳门)。"
        ],
        [
            "功能备注",
            "备注:各个地区的网络和频段可能有所不同,具体取决于当地运营商以及您所在的位置。"
        ],
        [
            "ROM",
            "64GB"
        ],
        [
            "RAM",
            "4GB"
        ],
        [
            "存储卡",
            "支持MicroSD(TF)"
        ],
        [
            "可用空间",
            "64GB 备注:可使用的内存容量小于此值,因为手机软件占用的空间。"
        ],
        [
            "主屏幕尺寸(英寸)",
            "6.5英寸"
        ],
        [
            "分辨率",
            "2340*1080"
        ],
        [
            "屏幕像素密度(ppi)",
            "397 PPI"
        ],
        [
            "屏幕材质类型",
            "IPS"
        ],
        [
            "前置摄像头",
            "1600万像素"
        ],
        [
            "前摄光圈大小",
            "f/2.0"
        ],
        [
            "照片最大分辨率",
            "4608×3456像素"
        ],
        [
            "功能备注",
            "备注:不同拍照模式的照片像素可能有差异,请以实际为准。"
        ],
        [
            "摄像头数量",
            "2个"
        ],
        [
            "后置摄像头",
            "2000万像素"
        ],
        [
            "照片最大分辨率",
            "后置摄像头:5120×3840像素"
        ],
        [
            "拍照特点",
            "美颜"
        ],
        [
            "功能备注",
            "AI美拍、乐趣AR、人像模式、大光圈拍照、HDR、超级夜景、全景照、流光快门、水印 等"
        ],
        [
            "电池容量(mAh)",
            "3750mAh(典型值)"
        ],
        [
            "电池类型",
            "锂聚合物电池"
        ],
        [
            "电池是否可拆卸",
            ""
        ],
        [
            "理论待机时间(小时)",
            "约26天 备注:上述数据为实验室数据,实际待机时间,视当地的实际网络情况和使用习惯而有所不同"
        ],
        [
            "理论通话时间(小时)",
            "理论3G通话时间:约21小时 备注:上述数据为实验室数据,实际通话时间,视当地的实际网络情况和使用习惯而有所不同"
        ],
        [
            "充电器",
            "5V/2A"
        ],
        [
            "数据传输接口",
            "蓝牙"
        ],
        [
            "NFC/NFC模式",
            "不支持"
        ],
        [
            "耳机接口类型",
            "3.5mm"
        ],
        [
            "充电接口类型",
            "Micro USB"
        ],
        [
            "数据线",
            "USB2.0"
        ],
        [
            "指纹识别",
            "支持"
        ],
        [
            "GPS",
            "支持"
        ],
        [
            "陀螺仪",
            "支持"
        ],
        [
            "常用功能",
            "其他;收音机"
        ]
    ],
    "price":"",
    "current_comment_num":"(45万+)",
    "overall_score":"99%",
    "current_tag_list":[
        "晒图(500)",
        "视频晒单(1600+)",
        "追评(1800+)",
        "好评(38万+)",
        "中评(1000+)",
        "差评(1200+)"
    ]
}

项目结构

./
├── README.md           // 说明文档
├── main.py3            // 主程序
└── requirements.txt    // 项目依赖

Comments

If you find any errors, please let me know in Issues. Pull requests are welcome.

About

京东商品爬虫(JD.com Item Crawler)

Topics

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages