be / app-monkey
猴子采集器
Installs: 5 688
Dependents: 0
Suggesters: 0
Security: 0
Stars: 0
Watchers: 1
Forks: 0
Open Issues: 0
Requires
- be/be: ~2.6
README
应用简介
- 猴子采集器 是一款客户端采集器， 基于浏览器油獅插件运行，
- 在目标页面加载完成后，向页面注入jQuery和JS脚本，通过jQuery + JS脚本采集所需内容。并跨域远程提交到采集系统。
- 只要能看到，就100%能采集。
实现原理
- 通过浏览器油獅插件，向被采集的页面中注入 JQuery 库和采集服本，在页面加载完后后，采集服本工作。
- 采集逻辑由开发人员编写的 Jquery + JS 代码实现，编排实现页面遍历，采集叶子页面内容
- 采集完成后，通过AJAX跨域远程提交到您的服务器中。
不同于传统采集软件，猴子采集器 为 客户端采集，即借助于客户端浏览器 + 插件，自动浏览相关页面，自动翻页，跳转。并将浏览到的内容通过AJAX提交给采集服务器。完全是标准的用户浏览行为。采集过程中用户可以辅助操作（如登录，注册，扫码，手机验证等）。
借助于向页面注入 jQuery + JS 脚本，可以直接模拟用户在浏览器中的点击，输入等操作，获取页面内容，
借助 jQuery 强大的选择器，采集逻辑也极易开发，只要会 jQuery 的开发人员。就可以开发采集规则。
如何安装
1 新建 be 项目
composer create-project be/new
2 安装 be/app-monkey
composer require be/app-monkey