rabbit/spider

rabbit spider

dev-main 2022-07-25 16:03 UTC

Requires

• php: >=8.1.0
• rabbit/base: dev-master
• rabbit/data-pipeline: dev-master
• rabbit/httpclient: dev-master
• symfony/dom-crawler: ^6

Requires (Dev)

• phpunit/phpunit: *
• swoole/ide-helper: @dev

Suggests

• ext-v8js: Help to run js
• symfony/css-selector: Support filter

MIT

• albert

README

仅供学习使用，禁止项目源码用于任何目的，由此引发的任何法律纠纷与本人无关

协程爬虫管理

• 支持单IP并发池
• 支持长效和短效代理
• 支持隧道代理
• 自带免费代理获取(学习使用)
• 采用Channel任务投递方式
• 自行实现代理存储