网易云用户爬虫

简介

本爬虫不利用任何框架（因为不会😂）通过使用网易云提供的api进行爬取网易云音乐用户的uid，等级，性别，昵称和听歌量，并放入本地的mysql中进行保存，同时支持爬取成功和爬取中断的邮件提醒。

使用说明

• 只需要下载netEase.py和temp.py
• 登陆上你的mysql,在终端输入:

mysql -uroot -p(here is your password)

进入mysql后输入如下命令新建数据库netEase:

CREATE DATABASE netEase;

• 运行temp.py前请修改如下几处：
  • line6: mysql本地账号密码
• cd到temp.py目录下运行./temp.py(可能需要先chmod +x temp.py一下)
• 运行netEase.py前请修改如下几处：
  • line24-26: 邮件的发送者和接收者
  • line28: mysql本地账号密码
  • line172: 初始爬取账号(uid)
  • line56,137: 爬取用户数目(当前值为20)
• 接着在netEase.py下输入./netEase.py即可运行爬虫

运行结果

命令行实时显示

mysql数据库

邮件通知

to-do list

1. 增加爬取的信息，比如following，follower，听歌排行以及音乐评论
2. 增加多线程以加快爬取速度
3. 增加注释
4. 增加实现说明
5. 爬取用户分析表