百度云爬虫-爬取百度云/百度网盘所有的分享文件
Switch branches/tags
Nothing to show
Clone or download
Latest commit 27c6c2f Oct 10, 2017
Permalink
Failed to load latest commit information.
bin add 爬虫+db Nov 24, 2016
sql add 爬虫+db Nov 24, 2016
.gitignore add 爬虫+db Nov 24, 2016
LICENSE Initial commit Nov 24, 2016
README.md Update README.md Oct 10, 2017

README.md

baiduyun-spider

百度云爬虫-爬取百度云/百度网盘所有的分享文件

由于百度云接口已经失效,所以本工程弃用。

运行环境

  • MySQL
  • Python 2.7
  • Mysql-python

操作

创建数据库

创建名为pan的数据库,编码设为utf-8。然后导入sql/pan.sql,完成表的创建。

设置连接数据库的账号密码

打开 bin/spider.py ,修改 DB_HOSTDB_PORTDB_USERDB_PASS

运行爬虫

如果你是第一次部署,需运行下面命令,完成做种

python bin/spider.py --seed-user

上面其实就是抓取百度云热门分享用户的相关信息,然后从他们开始入手爬取数据

然后运行

python bin/spider.py

此时爬虫已经开始工作了。 数据库中就能看到对应的信息了。