fi1a/tokenizer

Лексический анализатор строк (tokenizer). Разбор входной последовательности символов на распознанные группы (лексемы).

1.1.7 2023-02-21 02:02 UTC

Requires

• php: ^7.3 || ^8
• ext-iconv: *
• ext-mbstring: *

Requires (Dev)

• captainhook/captainhook: ^5.4
• phpunit/phpunit: ^9.3
• slevomat/coding-standard: ^6.3
• squizlabs/php_codesniffer: ^3.5
• vimeo/psalm: ^4.3

MIT

• Fi1a

README

Пакет fi1a/tokenizer предоставляет инструменты для разбора входной последовательности консольной строки, CSS3 селекторов и PHP кода.

Установка

Установить этот пакет можно как зависимость, используя Composer.

composer require fi1a/tokenizer

Общая архитектура пакета

В библиотеке представлены следующие интерфейсы:

• Fi1a\Tokenizer\IToken - интерфейс токена;
• Fi1a\Tokenizer\ITokenFactory - интерфейс фабрики токенов;
• Fi1a\Tokenizer\ITokenizer - интерфейс лексического анализатора;
• Fi1a\Tokenizer\ITokenizerFactory - интерфейс фабричного класса лексического анализатора.

И абстрактные классы:

• Fi1a\Tokenizer\AToken - токен, реализующий интерфейс IToken;
• Fi1a\Tokenizer\ATokenizer - класс, реализующий интерфейс ITokenizer.

В библиотеке имеются следующие лексические анализаторы для разбора:

• консольной строки;
• CSS3 селекторов;
• PHP кода.

Разбор командной строки

Позволяет разобрать строку с командами на токены для последующей обработки.

use Fi1a\Tokenizer\ConsoleLine\Tokenizer;
use Fi1a\Tokenizer\ITokenizer;

$tokenizer = new Tokenizer('info --locale="ru , en"');

while (($token = $tokenizer->next()) !== ITokenizer::T_EOF) {
    $token->getImage(); // 'info', ' ', '--locale', '=', '"', 'ru , en', '"'
}

Разбор CSS3 селекторов

Позволяет разобрать строку с CSS3 селекторами на токены для последующей обработки.

use Fi1a\Tokenizer\CSS3Selector\Tokenizer;
use Fi1a\Tokenizer\ITokenizer;

$tokenizer = new Tokenizer('div.e-class1.m_class2 .b-class3');

while (($token = $tokenizer->next()) !== ITokenizer::T_EOF) {
    $token->getImage(); // 'div', '.e-class1', '.m_class2', ' ', '.b-class3'
}

Разбор PHP кода

Позволяет разобрать строку с PHP кодом на токены для последующей обработки.

use Fi1a\Tokenizer\PHP\TokenizerFactory;
use Fi1a\Tokenizer\ITokenizer;

$tokenizer = TokenizerFactory::factory("<?php class Foo {}");

while (($token = $tokenizer->next()) !== ITokenizer::T_EOF) {
    $token->getImage(); // '<?php ', 'class', ' ', 'Foo', ' ', '{', '}'
}