spider_python

普通的爬虫

• 爬取电影天堂最新的电影数据 - xpath

• 爬取腾讯招聘的职位数据 - xpath

• 爬取中国天气网全国天气并生成饼状图 - bs4

• 爬取古诗词网的数据 - re

• 爬取糗事百科上的段子数据 - re

多线程爬虫

• 多线程爬取斗图吧的表情图并下载到本地 - xpath + threading
  • 使用 itchat 发送表情到指定的人和微信群
• 多线程爬取百思不得姐的文字和图片信息并写入到csv中

Selenium 自动化爬虫

• 爬取拉勾网的职位信息 - selenium + requests + lxml

• 爬取 Boss 直聘网的职位信息 - selenium + lxml

Scrapy 框架爬虫

• 爬取糗事百科的段子保存到 JSON 文件中
• 爬取微信小程序论坛的数据
• 登录豆瓣网并修改个性签名
• 下载汽车之家的高清图片到本地
• 爬取简书网所有文章数据
• 爬取房天下所有房的数据，包含新房、二手房

Node.js 爬虫

• 使用 puppeteer 爬取简书文章并保存到本地

其他

• 使用 Python 定位到女朋友的位置