Пакет fi1a/tokenizer предоставляет инструменты для разбора входной последовательности консольной строки, CSS3 селекторов и PHP кода.
Установить этот пакет можно как зависимость, используя Composer.
composer require fi1a/tokenizer
В библиотеке представлены следующие интерфейсы:
- Fi1a\Tokenizer\IToken - интерфейс токена;
- Fi1a\Tokenizer\ITokenFactory - интерфейс фабрики токенов;
- Fi1a\Tokenizer\ITokenizer - интерфейс лексического анализатора;
- Fi1a\Tokenizer\ITokenizerFactory - интерфейс фабричного класса лексического анализатора.
И абстрактные классы:
- Fi1a\Tokenizer\AToken - токен, реализующий интерфейс IToken;
- Fi1a\Tokenizer\ATokenizer - класс, реализующий интерфейс ITokenizer.
В библиотеке имеются следующие лексические анализаторы для разбора:
- консольной строки;
- CSS3 селекторов;
- PHP кода.
Позволяет разобрать строку с командами на токены для последующей обработки.
use Fi1a\Tokenizer\ConsoleLine\Tokenizer;
use Fi1a\Tokenizer\ITokenizer;
$tokenizer = new Tokenizer('info --locale="ru , en"');
while (($token = $tokenizer->next()) !== ITokenizer::T_EOF) {
$token->getImage(); // 'info', ' ', '--locale', '=', '"', 'ru , en', '"'
}
Позволяет разобрать строку с CSS3 селекторами на токены для последующей обработки.
use Fi1a\Tokenizer\CSS3Selector\Tokenizer;
use Fi1a\Tokenizer\ITokenizer;
$tokenizer = new Tokenizer('div.e-class1.m_class2 .b-class3');
while (($token = $tokenizer->next()) !== ITokenizer::T_EOF) {
$token->getImage(); // 'div', '.e-class1', '.m_class2', ' ', '.b-class3'
}
Позволяет разобрать строку с PHP кодом на токены для последующей обработки.
use Fi1a\Tokenizer\PHP\TokenizerFactory;
use Fi1a\Tokenizer\ITokenizer;
$tokenizer = TokenizerFactory::factory("<?php class Foo {}");
while (($token = $tokenizer->next()) !== ITokenizer::T_EOF) {
$token->getImage(); // '<?php ', 'class', ' ', 'Foo', ' ', '{', '}'
}