Skip to content

v2.2.0

Choose a tag to compare

@github-actions github-actions released this 26 Sep 02:25
· 56 commits to master since this release
7f35809

ModernBERT, скачанная раньше, после обновления сама не меняется: обновите её командой aiw-ru models install modernbert. С 2.2.1 aiw-ru сам подсказывает, если скачана не та версия модели.

Добавлено

  • aiw-ru models guide печатает руководство по классификации: какую модель взять под свою машину (для слабых ноутбуков и песочниц агентов — transformer), как читать вероятность и итог по фрагментам длинного текста, как перепроверить отмеченные строки всеми моделями и scan, сколько это стоит по времени и памяти. Это файл каталога скилла references/models.md, его же читает агент; SKILL.md ссылается на него перед тем, как пересказывать пользователю вероятность.
  • Под итогом classify по фрагментам подсказка, как его читать: один фрагмент выше порога в длинном тексте — слабый признак, отмеченные строки шире самого ИИ-текста.
  • docs/runtime.md: почему модели работают через onnxruntime, а не PyTorch. Установка в десятки раз меньше (24 МБ против 555 МБ и 1,25 ГБ библиотек CUDA на Linux), на окне в 512 токенов ONNX втрое легче по памяти; замеры скорости и памяти на 8 и 2 потоках и что пробовали и не взяли. Замеры повторяет scripts/runtime_bench.py.
  • Замер проверки по фрагментам на длинных документах: scripts/long_docs.py склеивает тексты LLMTrace одного жанра в документы на 5–40 тысяч знаков (целиком человеческие, целиком ИИ и со вставками ИИ-текста) и считает, как часто фрагменты находят ИИ-кусок и как часто поднимают ложную тревогу. Отчёт в docs/long-documents.md: вставку находят 88–94 % документов против 30–34 % по началу, но в человеческом документе на 20 000 знаков хоть один фрагмент выше порога бывает в 22–37 % случаев, поэтому один фрагмент — слабый признак.
  • inference.json может задавать read_length: окно, которым модель читает текст целиком, длиннее max_length, по которому classify режет фрагменты. aiw-ru до 2.2.0 этого поля не знает и работает с такой моделью на окне max_length, как с прежней.
  • scripts/long_docs.py eval --label отделяет прогон новой версии модели от старой; train_transformer.py export у модели с окном длиннее 512 меряет задержку ещё на 2048 и 8192 токенах; report берёт задержку из export-latency.json, если модель обучали и оценивали на другой машине, и для обучения на своей видеокарте даёт в «Как воспроизвести» прямые команды без Colab.

Изменено

  • ModernBERT (toiletsandpaper/russian-ai-text-detector-modernbert) обучена заново на окне в 8192 токена вместо 512 и выложена новой ревизией в тот же репозиторий (#4). Текст целиком она читает до 8192 токенов, это 4–5 тысяч слов; обрезанных текстов на test 0,1 % вместо 13,5 %. На test ROC AUC 0,993, как у прежней, accuracy 0,9635 против 0,9620, людей за ИИ 3,4 % против 4,3 %, на текстах от 400 слов accuracy 0,982 против 0,966. Локальное внимание — ±64 токена, как в исходном ModernBERT: на пилотах окно ±128 и длина 512 или 2048 не дали разницы больше разброса между сидами. Фрагменты classify у неё остались по 512 токенов: на окне в 8192 ИИ-вставка тонет в человеческом тексте, и на длинных документах вставку нашли бы в 1,6 % смешанных документов против 92,3 % (docs/long-documents.md). Фрагмент на M1 считается за 72 мс вместо 126.
  • classify проверяет по фрагментам любой текст длиннее одного фрагмента, даже если модель прочитала его целиком.
  • aiw-ru models install без имени ставит ModernBERT и LightGBM: ModernBERT точнее всех и реже других принимает людей за ИИ. Трансформер теперь ставится только по имени, aiw-ru models install transformer, для слабой машины и песочницы агента. Справка models info, скилл и руководство models guide говорят то же.
  • Экспорт ModernBERT в ONNX (scripts/train_transformer.py export) идёт через scripts/fast_modernbert.py: локальные слои считают внимание блоками в окне, а не матрицей n × n с маской, слои после последнего глобального — только для начала текста, нужного токену CLS. Ответы те же (расхождение с transformers до 3·10⁻⁶), а окно в 8192 токена на M1 считается около 3 секунд вместо 48. Глобальные слои считают запросы 16 кусками: пик памяти на 8192 токенах около 1 ГБ вместо 3,8 ГБ, на 2048 — 330 МБ вместо 520, скорость та же, на двух потоках даже выше. Так экспортирована новая ModernBERT на окне 8192.
  • train_transformer.py train --batch-tokens N ограничивает пачку по токенам, без этого окно 8192 не помещается в память GPU; без сети ревизия базы берётся из локального кэша Hugging Face.
  • Карточка LightGBM показывает aiw-ru models install lightgbm и classify --model lightgbm: без имени по умолчанию теперь отвечает ModernBERT.
  • Благодарности humanizer-ru в README и NOTICE называют все взятые оттуда идеи: сверку фактов, проверку правки свежим агентом, тест на переносимость и три приметы детектора.

Удалено

  • Команды embed и head в scripts/train_transformer.py: замороженный энкодер FRIDA с логистической головой. На test он дал ROC AUC 0,952 при 823 млн параметров, хуже всех трансформеров aiw-ru и тяжелее их всех, и выпускать его не стали.

Исправлено

  • На macOS процесс с моделью в ONNX (трансформер, ModernBERT, mini-frida) изредка падал на выходе с libc++abi: terminating due to uncaught exception of type std::__1::system_error: recursive_mutex lock failed: Invalid argument и кодом 134. Падала телеметрия onnxruntime 1.30: она включается при импорте, секунд через десять отправляет данные по сети, и если процесс завершается во время отправки, её поток обращается к уже разрушенному мьютексу. Теперь aiw_ru.models при импорте ставит ORT_DISABLE_TELEMETRY=1, если переменная не задана, так что при любом запуске aiw-ru телеметрия не включается. Пример на Python в карточках трансформера, ModernBERT и mini-frida ставит ту же переменную до импорта onnxruntime.