Skip to content

hnyang1107/BUPTbbsSpider

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

5 Commits
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

运行方法

./BUPTbbsSpider目录下运行

scrapy crawl bupt_s1

或者在bash下后台运行运行(需修改run.py内的爬虫名)

nohup python -u run.py > run.log 2>&1 &

可实现后台抓取S1版块,并保存在BUPTData文件夹下,存储为csv文件.

抓取内容

字段 中文名称 示例
board_name_cn 板块中文名 北邮关注
board_name_en 板块英文名 Focus
content 发帖[^*]内容 今年应届渣硕,在今年秋招中各种花式跪,目前为止找到一个银行分行的金融科技的岗位,在深圳。如果接下来没有更好的选择可能只能去银行了
post_id 发帖人id ihuazuo
post_sex 发帖人性别 男生
post_time 发帖时间 Sun Nov 18 18:36:08 2018
post_title 帖子标题 【问题】去银行以后的职业发展是怎么样的呢
reply_id 回复对象 (若无则为空字符)
thread_owner 主题发起者[^**] ihuazuo
thread_title 主题标题 [由neuq51221推荐]【问题】去银行以后的职业发展是怎么样的呢
thread_url 主题链接 http://bbs.cloud.icybee.cn/article/Kungfu/105

About

BUPTbbsSpider: 北邮人论坛bbs镜像爬虫

Topics

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages