Repository navigation
v2.2.0
ModernBERT, скачанная раньше, после обновления сама не меняется: обновите её командой
aiw-ru models install modernbert. С 2.2.1 aiw-ru сам подсказывает, если скачана не та версия модели.
Добавлено
aiw-ru models guideпечатает руководство по классификации: какую модель взять под свою машину (для слабых ноутбуков и песочниц агентов —transformer), как читать вероятность и итог по фрагментам длинного текста, как перепроверить отмеченные строки всеми моделями иscan, сколько это стоит по времени и памяти. Это файл каталога скиллаreferences/models.md, его же читает агент; SKILL.md ссылается на него перед тем, как пересказывать пользователю вероятность.- Под итогом
classifyпо фрагментам подсказка, как его читать: один фрагмент выше порога в длинном тексте — слабый признак, отмеченные строки шире самого ИИ-текста. - docs/runtime.md: почему модели работают через onnxruntime, а не PyTorch. Установка в десятки раз меньше (24 МБ против 555 МБ и 1,25 ГБ библиотек CUDA на Linux), на окне в 512 токенов ONNX втрое легче по памяти; замеры скорости и памяти на 8 и 2 потоках и что пробовали и не взяли. Замеры повторяет
scripts/runtime_bench.py. - Замер проверки по фрагментам на длинных документах:
scripts/long_docs.pyсклеивает тексты LLMTrace одного жанра в документы на 5–40 тысяч знаков (целиком человеческие, целиком ИИ и со вставками ИИ-текста) и считает, как часто фрагменты находят ИИ-кусок и как часто поднимают ложную тревогу. Отчёт в docs/long-documents.md: вставку находят 88–94 % документов против 30–34 % по началу, но в человеческом документе на 20 000 знаков хоть один фрагмент выше порога бывает в 22–37 % случаев, поэтому один фрагмент — слабый признак. inference.jsonможет задаватьread_length: окно, которым модель читает текст целиком, длиннееmax_length, по которомуclassifyрежет фрагменты. aiw-ru до 2.2.0 этого поля не знает и работает с такой моделью на окнеmax_length, как с прежней.scripts/long_docs.py eval --labelотделяет прогон новой версии модели от старой;train_transformer.py exportу модели с окном длиннее 512 меряет задержку ещё на 2048 и 8192 токенах;reportберёт задержку изexport-latency.json, если модель обучали и оценивали на другой машине, и для обучения на своей видеокарте даёт в «Как воспроизвести» прямые команды без Colab.
Изменено
- ModernBERT (toiletsandpaper/russian-ai-text-detector-modernbert) обучена заново на окне в 8192 токена вместо 512 и выложена новой ревизией в тот же репозиторий (#4). Текст целиком она читает до 8192 токенов, это 4–5 тысяч слов; обрезанных текстов на test 0,1 % вместо 13,5 %. На test ROC AUC 0,993, как у прежней, accuracy 0,9635 против 0,9620, людей за ИИ 3,4 % против 4,3 %, на текстах от 400 слов accuracy 0,982 против 0,966. Локальное внимание — ±64 токена, как в исходном ModernBERT: на пилотах окно ±128 и длина 512 или 2048 не дали разницы больше разброса между сидами. Фрагменты
classifyу неё остались по 512 токенов: на окне в 8192 ИИ-вставка тонет в человеческом тексте, и на длинных документах вставку нашли бы в 1,6 % смешанных документов против 92,3 % (docs/long-documents.md). Фрагмент на M1 считается за 72 мс вместо 126. classifyпроверяет по фрагментам любой текст длиннее одного фрагмента, даже если модель прочитала его целиком.aiw-ru models installбез имени ставит ModernBERT и LightGBM: ModernBERT точнее всех и реже других принимает людей за ИИ. Трансформер теперь ставится только по имени,aiw-ru models install transformer, для слабой машины и песочницы агента. Справкаmodels info, скилл и руководствоmodels guideговорят то же.- Экспорт ModernBERT в ONNX (
scripts/train_transformer.py export) идёт черезscripts/fast_modernbert.py: локальные слои считают внимание блоками в окне, а не матрицей n × n с маской, слои после последнего глобального — только для начала текста, нужного токену CLS. Ответы те же (расхождение с transformers до 3·10⁻⁶), а окно в 8192 токена на M1 считается около 3 секунд вместо 48. Глобальные слои считают запросы 16 кусками: пик памяти на 8192 токенах около 1 ГБ вместо 3,8 ГБ, на 2048 — 330 МБ вместо 520, скорость та же, на двух потоках даже выше. Так экспортирована новая ModernBERT на окне 8192. train_transformer.py train --batch-tokens Nограничивает пачку по токенам, без этого окно 8192 не помещается в память GPU; без сети ревизия базы берётся из локального кэша Hugging Face.- Карточка LightGBM показывает
aiw-ru models install lightgbmиclassify --model lightgbm: без имени по умолчанию теперь отвечает ModernBERT. - Благодарности humanizer-ru в README и NOTICE называют все взятые оттуда идеи: сверку фактов, проверку правки свежим агентом, тест на переносимость и три приметы детектора.
Удалено
- Команды
embedиheadвscripts/train_transformer.py: замороженный энкодер FRIDA с логистической головой. На test он дал ROC AUC 0,952 при 823 млн параметров, хуже всех трансформеров aiw-ru и тяжелее их всех, и выпускать его не стали.
Исправлено
- На macOS процесс с моделью в ONNX (трансформер, ModernBERT, mini-frida) изредка падал на выходе с
libc++abi: terminating due to uncaught exception of type std::__1::system_error: recursive_mutex lock failed: Invalid argumentи кодом 134. Падала телеметрия onnxruntime 1.30: она включается при импорте, секунд через десять отправляет данные по сети, и если процесс завершается во время отправки, её поток обращается к уже разрушенному мьютексу. Теперьaiw_ru.modelsпри импорте ставитORT_DISABLE_TELEMETRY=1, если переменная не задана, так что при любом запускеaiw-ruтелеметрия не включается. Пример на Python в карточках трансформера, ModernBERT и mini-frida ставит ту же переменную до импорта onnxruntime.