Skip to content

Releases

LLM Test Bench 1.0.3

Choose a tag to compare

@aleksandrreva-eng aleksandrreva-eng released this 02 Oct 21:41

Что нового

Наборы: 12 наборов, 120 кейсов

  • Новый набор russian (20 кейсов, версия 1.0.0) — проверка работы с русским
    языком: орфография по правилам (жи/ши, -тся/-ться, «не» с глаголами, н/нн),
    морфология (падежи, числительные, род, ударение), понимание смысла и идиом,
    перевод в обе стороны, дисциплина формата (ответ только кириллицей, JSON с
    русскими ключами). Все проверки детерминированные — regex, contains_*,
    exact_match, json_schema, — судья не нужен, поэтому набор гоняется на
    любой модели и прогоны сравнимы между собой.
  • Набор speed — версия 3.0.0, 9 кейсов. К шести префилл-кейсам добавлены
    три на длинную генерацию (просьба 200/600/1200 слов при коротком префилле).
    Раньше все шесть просили «ответь одним предложением», ответ выходил в 20–40
    токенов, и tokens_per_sec был шумом — набор мерил только префилл, хотя в
    манифесте объявлен именно он. В metrics добавлен prompt_tokens_per_sec.

Прогон

  • Занятость сервера перед стартом. У сборки один слот, поэтому чужой запрос
    встаёт впереди наших и скорости показывают скорость очереди, а не модели.
    Теперь интерфейс спрашивает /slots и предлагает «Продолжить / Отмена»; факт
    занятости пишется в params.server_busy прогона.
  • Прогрев сервера (warmup) — первый запрос после загрузки модели дороже
    последующих, и без прогрева этот выброс попадал в первый измеряемый кейс.
  • Кэш вердиктов судьи (judge_cache) — повторный прогон не платит токенами
    за уже оценённые ответы.
  • Запись о том, чем поднят сервер — params.server (applied / command /
    note). Скорость решают флаги запуска (--load-mode, -ot, --n-cpu-moe), и
    два прогона на одной модели — 42 и 56 t/s — больше не выглядят одинаково.
    В консоли — --server-command.
  • Точный счёт длины промпта (/tokenize) не отключается после первого сбоя.
    Одиночная заминка сервера переводила весь оставшийся прогон на оценку «два
    символа на токен», и промпт собирался наполовину оценкой: в context_long
    кейс на 64 000 токенов перелетал цель на 40%.

Инфраструктура

  • Атомарная запись файлов: все JSON, CSV, HTML и текстовые файлы пишутся через
    временный файл рядом и os.replace — обрыв прогона не оставит обрезанный JSON.
  • Логи в logs/app.log с ротацией 2 МБ × 5 вместо двух print() в библиотеке.
  • Единый гейт check_all.py — 13 проверок плюс ruff check и ruff format --check; тем же входом ходит CI на GitHub Actions.

Установщик и сборка

  • make_msi.py + installer/LLMTestBench.wxs (WiX Toolset 4): установка в
    профиль пользователя (%LOCALAPPDATA%\Programs\LLMTestBench), права
    администратора не нужны.
  • При удалении папка приложения убирается целиком — вместе с рабочими папками,
    которые создало само приложение. Обновление поверх старой версии данные не
    трогает (config.json, history.db, results/ переживают обновление).
    Оговорка: удалять надо при закрытом приложении.
  • Копия наборов рядом с .exe обновляется по штампу .bundle-version; прежняя
    откладывается в tests.backup-<версия>-<дата>, чтобы правки из редактора не
    пропали.

Документация

  • README, Техзадание.md и руководство пользователя приведены в соответствие с
    кодом: 12 наборов вместо 11, актуальные версии наборов, warm-up и кэш судьи как
    реализованные, честные пометки «не реализовано» там, где пусто.
  • Руководство пересобрано: снимки экрана сняты заново, PDF собран из него.

Полный список изменений — CHANGELOG.md.

Вложения

Файл Что это
LLMTestBench-1.0.3.msi установщик в профиль пользователя, без прав администратора
LLMTestBench.exe переносимый запуск — рабочие папки создаются рядом с .exe
LLMTestBench-1.0.3-manual-ru.pdf руководство пользователя со скриншотами

Требования

Windows 10/11 x64 и внешний llama-server (llama.cpp) на 127.0.0.1:8080 —
модель грузит ваш лаунчер, приложение тестирует то, что уже слушает на порту.
Прямой режим через llama-cpp-python отложен: под sm_120 / CUDA 13.x готовых
колёс нет.

LLM Test Bench 1.0.0

Choose a tag to compare

@aleksandrreva-eng aleksandrreva-eng released this 29 Sep 09:50

Первый выпуск LLM Test Bench — стенда для тестирования локальных GGUF-моделей,
поднятых внешним llama-server на 127.0.0.1:8080.

Что в выпуске

  • LLMTestBench-1.0.0.msi — установщик. Ставится в профиль пользователя
    (%LOCALAPPDATA%\Programs\LLMTestBench), права администратора не нужны,
    ярлык появляется в меню «Пуск», удаление штатное — через «Программы и
    компоненты».
  • LLMTestBench.exe — то же приложение без установки, одним файлом
    (~56 МБ). config.json, логи, результаты и база истории создаются рядом с
    файлом, поэтому папка должна быть доступна на запись.
  • LLMTestBench-1.0.0-manual-ru.pdf — подробное руководство на 32 страницах
    со снимком к каждой функции приложения: тестирование, сервер, история,
    сравнение, редактор тестов, настройки. Исходный текст — docs/Руководство-пользователя.md
    в репозитории.

Требования

  • Windows 10/11 x64.
  • Собственный llama-server на 127.0.0.1:8080: приложение его не
    поднимает
    — оно тестирует то, что уже запущено. Если сервер не поднят,
    запустится встроенный режим --load-mode none.
  • Модели в формате GGUF на диске.

Что внутри

  • 11 наборов / 97 кейсов: логика, код, следование формату и инструкциям,
    скорость, длинный контекст и другое.
  • Проверки ответов: contains, not_contains, regex, json, code,
    llm_judge, embedding и другие. Пропуск (например, недоступный судья) не
    идёт в знаменатель и не считается провалом.
  • Метрики: скорости префилла и генерации, расход памяти модели и раскладка
    слоёв по устройствам, время до первого токена.
  • История прогонов в SQLite, сравнение прогонов, HTML-отчёт, печать сравнения.
  • Агентный режим: локальная модель как субагент.

Подробное руководство пользователя со скриншотами — во вложении
LLMTestBench-1.0.0-manual-ru.pdf; исходный текст и снимки — в docs/ репозитория.

Лицензия

MIT — см. LICENSE. Правообладатель: aleksandrreva-eng.