wxxiong6/crawl

简单实用的php爬虫系统

v1.0.0 2017-09-21 02:18 UTC

Requires

• php: >=5.4

MIT

• xwx

• spider
• crawl
• 爬虫
• php爬虫

README

• 程序只支持CLI,执行前需要把php加入环境变量

安装程序

1.dbconfig.php 添加正确的数据库配置

2. 安装程序

php run install

启动程序

安装完成后，在setting表添加来源站点及正则提取规则。

启动程序 (参数是 setting 表id)

php run run 1 

清除项目数据 (参数是 setting 表id)

php run clear 1

完整代码目录

│  crawl.sql
│  LICENSE
│  README
│  run       系统入口程序
│      
├─code
│  ├─config  配置文件
│  │      config.php
│  │      dbconfig.php
│  │      
│  └─library  类库
│      │  App.php
│      │  Crawl.php
│      │  CrawlCallback.php
│      │  Import.php
│      │  Loader.php
│      │  
│      └─db   数据库
│              MysqlPDO.php
│              
├─data   数据
│          
├─log    日志目录
│      
├─tmp
└─web     web目录