Skip to content

越来越多的网站具有反爬虫特性,有的用图片隐藏关键数据,有的使用反人类的验证码,建立反反爬虫的代码仓库,通过与不同特性的网站做斗争(无恶意)提高技术。(欢迎提交难以采集的网站)

Notifications You must be signed in to change notification settings

tongji1907/Anti-Anti-Spider

 
 

Repository files navigation

Anti-Anti-Spider

2016-10-24

本项目由URLTEAM维护

作者博客 www.urlteam.org

项目简介: 运用请求伪造,浏览器伪造,浏览器自动化,图像处理,ip处理等方式进行反爬虫技术的通用化使用。 为以后的采集任务快速开展留下基础代码。

项目起因

本身是想做一个反爬虫的技术攻关站点,如果在总结诸多技术中发觉可以将反反爬虫技术直接保留与代码中。 在之后采集需要时能快速有效的测试该站点具有怎样的反爬特性,并且可以快速的进行代码复用

欢迎加入: 欢迎有一定编程基础(python or js) 共同参与到项目中。 联系方式: a83533774@gmail.com 543429245@qq.com

你可以做什么: 1:参与开发 2:提交你觉得难以采集的网站

About

越来越多的网站具有反爬虫特性,有的用图片隐藏关键数据,有的使用反人类的验证码,建立反反爬虫的代码仓库,通过与不同特性的网站做斗争(无恶意)提高技术。(欢迎提交难以采集的网站)

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages

  • HTML 75.6%
  • Python 23.5%
  • JavaScript 0.9%