Skip to content

Euclid-Jie/EuclidZhiHu-serach

Repository files navigation

前置条件

  • 会使用MongoDB数据库(已更新excel(csv)存储方式)
  • 会使用selenium接管指定端口的浏览器,可参考这篇文章

目前已有功能

获取指定问题下的回答

Get_answers_of_question_from_API

  • 更新base_url

    1、打开知乎的某个指定问题

    2、打开浏览器开发工具(F12打开)

    3、刷新页面,往下滚动网页,找到feed的请求,如下图所示

    4、将末尾的数字更新至baseUrl.txt,即完成更新

image-20230311122156648

  • 参数修改
question_id_list = ['22636295', '291200054'] # 问题id,以列表形式传入
question_id_list = ['22636295']  # 单个问题也需要写成这样
demo = Get_answers_of_question_from_API(MongoDB=False)  # 如需写入Mongo请设置Ture
# demo.collectionName = 'demoName'  # 如需设置文件名,请取消注释,默认文件名为qustion_id_API
demo.main_get(question_id_list)  # 运行前,请打9222端口的托管浏览器,并登录知乎

[旧版本]使用Get_answers_of_question.py

  • 调整参数

    question_id_list = ['22636295', '291200054']  # 问题id
  • 调用

    Get_answers_of_question().main(question_id_list)  # 直接传入question_id_list调用

获取指定条件下的回答或专栏

使用Get_answers_of_url.py

  • 进入高级搜索搜索过去一周内,指定关键词的知乎回答,如下图所示,获取链接

image-20230223002246089

  • 调整参数

    demo = Get_answers_of_url()  # 实例化
    demo.collectionName = 'Test'  # 设置collection的名字
    url = 'https://www.zhihu.com/search?q=如何评价张颂文&type=content&utm_content=search_preset&time_interval=a_week'  # 上一步的网址
  • 调用

    demo.main(url)  # 直接传入url调用

获取某个回答下的评论和子评论

使用Get_comments_of_answer.py

  • 调整参数

    # 挑选某个问题下的某几个回答的id,写入list中
    question_315914320: ['948633721', '779651349', '1889296546', '1006650691', '1280485524', '903387921', '1280709300', '829298544']
    # 遍历这几个回答,获取其评论和子评论
    for answer_id in question_315914320:
        demo = Get_comments_of_answer(header, answer_id)
        # 设置collection的名字
        demo.collectionName = 'comments_of_question_315914320'
        demo.main()

数据输出

回答信息

字段名 字段含义
action 转评赞信息
answerRaw 回答全文
answer_id 回答id
first_datetime 发布时间
least_datetime 修改时间
question_id 问题id
user_name 用户昵称
user_url 用户主页链接

评价信息

字段名 字段含义
answer_id 回答id
reply_comment_id 父评论id
id 评论id
author 用户昵称
created_time 创建时间
text_raw 评论内容
like_count 喜欢数
dislike_count 不喜欢数
child_comment_count 子评论数


知乎数据结构(可略过)

本部分的内容,作为开发数据采集工具、理解数据结构的基础,将介绍知乎的几种数据构成方式

img

主要数据来源

问题:网友在知乎上的提问

知乎立身之本,有问题就会有答案,以这个问题为例。

可获取的数据包括:

  • 问题内容:中国为什么强大?
  • 问题的关注者:共3242个
  • 问题浏览量:6119977
  • 问题评论:20条
  • 问题点赞(好问题):23次

image-20230222231638869

回答

有问题就会有回答,每个问题都会有很多回答,上述的例子中,共有1737个回答。

image-20230222231951332

以第一条回答为例。可以获取的数据包括:

  • 答主的个人信息
  • 回答信息
    • 回答内容
    • 发布时间:2023-01-11 10:48
    • 编辑时间:2023-01-15 00:32
    • IP属地:广西
    • 回答赞同数:1.7万(17190)
    • 评论数:429
    • 喜欢数:2924
    • 收藏数:3850

image-20230222232208962

  • 回答的评论及其子评论

    • 评论人的个人信息
      • 昵称:清风徐来
      • id:7a51f0f3999c8571b4643c8948caff0b
      • IP属地:江苏
    • 评论信息
      • 评论内容
      • 评论id:10411961541
      • 点赞数:68
      • 子评论数:3
      • 创建时间:2023-1-11 19:14:11

    image-20230223001000630

    • 子评论信息

      • 评论人的个人信息
        • 昵称:illlidan03
        • id:cca096fcdb26dcbc1a6dbceb9b1c1ab0
        • IP属地:北京
      • 子评论内容
        • 子评论内容
        • 子评论id:10413152004
        • 父评论id:10411961541
        • 子评论创建时间:2023-1-12 16:3:6

      image-20230223001322180

专栏

About

知乎回答、专栏及评论数据全覆盖爬取

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages