array ( 0 => 'index.php', 1 => 'PHP Manual', ), 'head' => array ( 0 => 'UTF-8', 1 => 'ru', ), 'this' => array ( 0 => 'class.phptoken.php', 1 => 'PhpToken', ), 'up' => array ( 0 => 'book.tokenizer.php', 1 => 'Лексер (Tokenizer)', ), 'prev' => array ( 0 => 'tokenizer.examples.php', 1 => 'Примеры', ), 'next' => array ( 0 => 'phptoken.construct.php', 1 => 'PhpToken::__construct', ), 'alternatives' => array ( ), 'source' => array ( 'lang' => 'ru', 'path' => 'reference/tokenizer/phptoken.xml', ), 'extra_header_links' => array ( 'rel' => 'alternate', 'href' => '/manual/en/feeds/class.phptoken.atom', 'type' => 'application/atom+xml', ), ); $setup["toc"] = $TOC; $setup["toc_deprecated"] = $TOC_DEPRECATED; $setup["parents"] = $PARENTS; manual_setup($setup); ?>
(PHP 8)
Этот класс предоставляет альтернативу функции token_get_all(). Тогда как функция возвращает токены либо в виде односимвольной строки, либо в виде массива с идентификатором токена, его текстом и номером строки, PhpToken::tokenize() нормализует все токены в объекты PhpToken, что позволяет гораздо более удобно работать с токенами.
Одна из констант T_*, или символ ASCII, представляющий односимвольный токен.
Текстовое содержимое токена.
Номер строки (начиная с 1), с которой начинается токен.
Начальная позиция (начиная с 0) токена в строке (количество байтов).