token-get-all.xml

<?xml version="1.0" encoding="utf-8"?>
<!-- EN-Revision: 82c84a325ea8d03f45669988e4f6ed53221ebd8f Maintainer: aur Status: ready -->
<!-- Reviewed: no -->
<refentry xml:id="function.token-get-all" xmlns="http://docbook.org/ns/docbook">
 <refnamediv>
  <refname>token_get_all</refname>
  <refpurpose>Разбивает исходный код на PHP-лексемы</refpurpose>
 </refnamediv>
 <refsect1 role="description">
  &reftitle.description;
  <methodsynopsis>
   <type>array</type><methodname>token_get_all</methodname>
   <methodparam><type>string</type><parameter>code</parameter></methodparam>
   <methodparam choice="opt"><type>int</type><parameter>flags</parameter><initializer>0</initializer></methodparam>
  </methodsynopsis>
  <para>
   Функция <function>token_get_all</function> разбирает строку <parameter>code</parameter>
   на лексемы языка PHP через лексический сканер Zend Engine.
  </para>
  <para>
   Список лексем приводит раздел «<xref linkend="tokens"/>». Функция
   <function>token_name</function> переводит значения лексемы в строковое
   представление.
  </para>
 </refsect1>
 <refsect1 role="parameters">
  &reftitle.parameters;
  <para>
   <variablelist>
    <varlistentry>
     <term><parameter>code</parameter></term>
     <listitem>
      <para>
       Исходный PHP-код для разбора.
      </para>
     </listitem>
    </varlistentry>
    <varlistentry>
     <term><parameter>flags</parameter></term>
     <listitem>
      <para>
       Корректные флаги:
       <itemizedlist>
        <listitem>
         <simpara>
          <constant>TOKEN_PARSE</constant> - Распознает в отдельных контекстах, возможно ли
          использовать зарезервированные слова.
         </simpara>
        </listitem>
       </itemizedlist>
      </para>
     </listitem>
    </varlistentry>
   </variablelist>
  </para>
 </refsect1>
 <refsect1 role="returnvalues">
  &reftitle.returnvalues;
  <para>
   Массив идентификаторов лексем. Каждый индивидуальный идентификатор лексемы это или
   одиночный символ (например, <literal>;</literal>, <literal>.</literal>,
   <literal>&gt;</literal>, <literal>!</literal>, другие…),
   или 3-элементный массив, который содержит индекс лексемы в нулевом элементе, строку
   с оригинальным содержимым лексемы в первом элементе и номером строки во втором элементе.
  </para>
 </refsect1>

 <refsect1 role="examples">
  &reftitle.examples;
  <para>
   <example>
    <title>Пример использования функции <function>token_get_all</function></title>
    <programlisting role="php">
<![CDATA[
<?php

$tokens = token_get_all('<?php echo; ?>');

foreach ($tokens as $token) {
    if (is_array($token)) {
        echo "Строка {$token[2]}: ", token_name($token[0]), " ('{$token[1]}')", PHP_EOL;
    }
}

?>
]]>
    </programlisting>
    &example.outputs.similar;
    <screen>
<![CDATA[
Строка 1: T_OPEN_TAG ('<?php ')
Строка 1: T_ECHO ('echo')
Строка 1: T_WHITESPACE (' ')
Строка 1: T_CLOSE_TAG ('?>')
]]>
    </screen>
   </example>
  </para>
  <para>
   <example>
    <title>Пример неправильного использования функции <function>token_get_all</function></title>
    <programlisting role="php">
<![CDATA[
<?php

$tokens = token_get_all('/* комментарий */');

foreach ($tokens as $token) {
    if (is_array($token)) {
        echo "Строка {$token[2]}: ", token_name($token[0]), " ('{$token[1]}')", PHP_EOL;
    }
}

?>
]]>
    </programlisting>
    &example.outputs.similar;
    <screen>
<![CDATA[
Строка 1: T_INLINE_HTML ('/* комментарий */')
]]>
    </screen>
   </example>
   Обратите внимание, в приведённом примере строка разбирается как токен <constant>T_INLINE_HTML</constant>
   вместо ожидаемого <constant>T_COMMENT</constant>.
   Это связано с тем, что в коде нет открывающего тега.
   Это было бы эквивалентно помещению комментариев вне PHP-тегов в обычном файле.
  </para>
  <para>
   <example>
    <title>
     Пример использования функции <function>token_get_all</function> с классом,
     код которого содержит зарезервированные слова
    </title>
    <programlisting role="php">
<![CDATA[
<?php

$source = <<<'code'
<?php

class A
{
    const PUBLIC = 1;
}
code;

$tokens = token_get_all($source, TOKEN_PARSE);

foreach ($tokens as $token) {
    if (is_array($token)) {
        echo token_name($token[0]) , PHP_EOL;
    }
}

?>
]]>
    </programlisting>
    &example.outputs.similar;
    <screen>
<![CDATA[
T_OPEN_TAG
T_WHITESPACE
T_CLASS
T_WHITESPACE
T_STRING
T_CONST
T_WHITESPACE
T_STRING
T_LNUMBER
]]>
    </screen>
   </example>
   Без флага <constant>TOKEN_PARSE</constant> вместо предпоследнего токена
   <constant>T_STRING</constant> функция вернула бы токен <constant>T_PUBLIC</constant>.
  </para>
 </refsect1>

 <refsect1 role="seealso">
  &reftitle.seealso;
  <para>
   <simplelist>
    <member><function>PhpToken::tokenize</function></member>
    <member><function>token_name</function></member>
   </simplelist>
  </para>
 </refsect1>
</refentry>
<!-- Keep this comment at the end of the file
Local variables:
mode: sgml
sgml-omittag:t
sgml-shorttag:t
sgml-minimize-attributes:nil
sgml-always-quote-attributes:t
sgml-indent-step:1
sgml-indent-data:t
indent-tabs-mode:nil
sgml-parent-document:nil
sgml-default-dtd-file:"~/.phpdoc/manual.ced"
sgml-exposed-tags:nil
sgml-local-catalogs:nil
sgml-local-ecat-files:nil
End:
vim600: syn=xml fen fdm=syntax fdl=2 si
vim: et tw=78 syn=sgml
vi: ts=1 sw=1
-->