idealcms/spider

Скрипт для обхода сайта по внутренним ссылкам и построения xml-карты сайта

5.0 2022-09-16 06:48 UTC

Requires

• ext-curl: *
• ext-iconv: *
• ext-json: *
• ext-mbstring: *

LGPL-3.0

• Paul Nikitin

README

Универсальный скрипт для обхода сайта по внутренним ссылкам.

В стандартной комплектации скрипт может:

1. составить xml-карту сайта;
2. для каждой страницы определить количество ссылающихся страниц из области контента;
3. составить xml-карту изображений сайта.

А также возможно отключить любой из стандартных обработчиков страниц и подключить свой, чтобы извлечь из сайта нужную информацию.

Пример запуска сканера сайта представлен в файле examples/index.php.