Skip to content
master
Switch branches/tags
Code

Files

Permalink
Failed to load latest commit information.
Type
Name
Latest commit message
Commit time
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

🎉Life is fantastic🥳!~


Master


"Did you know all your doors were locked?" - Riddick (The Chronicles of Riddick)


Branch Stars Forks License Awesome


Created by @kris


💕Website login model

一些爬虫示例程序,以及模拟登陆程序,模拟登陆基于 selenium,有些模拟登录基于 js 逆向,持续更新,有问题可以直接提交 Issues,欢迎提交 PR, 测试通过可以直接 merge,文中所有程序都是使用 python3 编写 :-)

About

模拟登陆基本采用的是直接登录或者使用selenium+webdriver的方式,有的网站直接登录难度很大,比如qq空间,bilibili等如果采用selenium就相对轻松一些。

虽然在登录的时候采用的是selenium,为了效率,我们可以在登录过后得到的cookie维护起来,然后调用requests或者scrapy等进行数据采集,这样数据采集的速度可以得到保证。

WebDriver

Chrome FireFox

Completed

catalogue

Test

Please touch here to view test images

Informations

  • 为感谢你们的支持,准备写一套免费爬虫的教程,保证你学会以后可以爬取市面上大部分的网站,教程地址

tips of pull request

  • 欢迎大家一起来 pull request 💗

Problems

  • 关于验证码:本项目所用的方法都没有处理验证码,识别复杂验证码的难度就目前来说,还是比较大的。以我的心得来说,做爬虫最好的方式就是尽量规避验证码。
  • 代码失效:由于网站策略或者样式改变,导致代码失效,请给我提issue,如果你已经解决,可以提PR,谢谢!
  • 正在对部分代码进行优化。。。
  • 如果该repo对大家有帮助,记得 star 哦。

Acknowledgments

@deepforce | @cclauss | ksoeasyxiaosi | JasonJunJun | MediocrityXT

  • 感谢以上开发者的支持和贡献。

联系我

注意:

  • 本项目仅用于学习和交流

欢迎任何人参与和完善:一个人可以走的很快,但是一群人却可以走的更远