Skip to content

phpbe/app-monkey

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

34 Commits
 
 
 
 
 
 
 
 
 
 

Repository files navigation

猴子采集器

应用简介

  • 猴子采集器 是一款客户端采集器, 基于浏览器油獅插件运行,
  • 在目标页面加载完成后,向页面注入jQuery和JS脚本,通过jQuery + JS脚本采集所需内容。并跨域远程提交到采集系统。
  • 只要能看到,就100%能采集。

实现原理

  • 通过浏览器油獅插件,向被采集的页面中注入 JQuery 库和采集服本,在页面加载完后后,采集服本工作。
  • 采集逻辑由开发人员编写的 Jquery + JS 代码实现,编排实现页面遍历,采集叶子页面内容
  • 采集完成后,通过AJAX跨域远程提交到您的服务器中。

不同于传统采集软件,猴子采集器 为 客户端采集,即借助于客户端浏览器 + 插件,自动浏览相关页面,自动翻页,跳转。并将浏览到的内容通过AJAX提交给采集服务器。完全是标准的用户浏览行为。采集过程中用户可以辅助操作(如登录,注册,扫码,手机验证等)。

借助于向页面注入 jQuery + JS 脚本,可以直接模拟用户在浏览器中的点击,输入等操作,获取页面内容,

借助 jQuery 强大的选择器,采集逻辑也极易开发,只要会 jQuery 的开发人员。就可以开发采集规则。

如何安装

1 新建 be 项目

composer create-project be/new

2 安装 be/app-monkey

composer require be/app-monkey