xcrawler / xcrawler
A fast, simple and powerful PHP web crawler (scraper/spider) 快速、简洁且强大的爬虫/采集框架
Installs: 866
Dependents: 0
Suggesters: 0
Security: 0
Stars: 337
Watchers: 14
Forks: 50
Open Issues: 1
Requires
- php: ^7.0.8
- guzzlehttp/guzzle: ^6.3
- monolog/monolog: ^1.23
- predis/predis: ^1.1
- symfony/css-selector: ~3.4
- symfony/dom-crawler: ~3.4
This package is not auto-updated.
Last update: 2024-09-27 07:56:48 UTC
README
特性
- 极易上手,具备完善的文档和示例
- 支持多并发爬取
- 支持失败重试、代理、断点续爬
- 完善的爬取进度日志
- 支持基于xpath、css选择器解析内容
- 支持模拟浏览器行为,如user-agent、cookie、提交表单
- 健壮的底层库,HTTP客户端基于guzzle,dom解析基于symfony/dom-crawler库
安装
composer require xcrawler/xcrawler
文档地址
查看文档: https://xcrawler.yanshuju.com/docs/
交流
XCrawler交流群: 790478771
开源协议 (License)
XCrawler是基于MIT开源协议发布的。