Repository navigation
Releases
Releases · aleksandrreva-eng/llm-test-bench
LLM Test Bench 1.0.3
Что нового
Наборы: 12 наборов, 120 кейсов
- Новый набор
russian(20 кейсов, версия 1.0.0) — проверка работы с русским
языком: орфография по правилам (жи/ши, -тся/-ться, «не» с глаголами, н/нн),
морфология (падежи, числительные, род, ударение), понимание смысла и идиом,
перевод в обе стороны, дисциплина формата (ответ только кириллицей, JSON с
русскими ключами). Все проверки детерминированные —regex,contains_*,
exact_match,json_schema, — судья не нужен, поэтому набор гоняется на
любой модели и прогоны сравнимы между собой. - Набор
speed— версия 3.0.0, 9 кейсов. К шести префилл-кейсам добавлены
три на длинную генерацию (просьба 200/600/1200 слов при коротком префилле).
Раньше все шесть просили «ответь одним предложением», ответ выходил в 20–40
токенов, иtokens_per_secбыл шумом — набор мерил только префилл, хотя в
манифесте объявлен именно он. Вmetricsдобавленprompt_tokens_per_sec.
Прогон
- Занятость сервера перед стартом. У сборки один слот, поэтому чужой запрос
встаёт впереди наших и скорости показывают скорость очереди, а не модели.
Теперь интерфейс спрашивает/slotsи предлагает «Продолжить / Отмена»; факт
занятости пишется вparams.server_busyпрогона. - Прогрев сервера (
warmup) — первый запрос после загрузки модели дороже
последующих, и без прогрева этот выброс попадал в первый измеряемый кейс. - Кэш вердиктов судьи (
judge_cache) — повторный прогон не платит токенами
за уже оценённые ответы. - Запись о том, чем поднят сервер —
params.server(applied/command/
note). Скорость решают флаги запуска (--load-mode,-ot,--n-cpu-moe), и
два прогона на одной модели — 42 и 56 t/s — больше не выглядят одинаково.
В консоли —--server-command. - Точный счёт длины промпта (
/tokenize) не отключается после первого сбоя.
Одиночная заминка сервера переводила весь оставшийся прогон на оценку «два
символа на токен», и промпт собирался наполовину оценкой: вcontext_long
кейс на 64 000 токенов перелетал цель на 40%.
Инфраструктура
- Атомарная запись файлов: все JSON, CSV, HTML и текстовые файлы пишутся через
временный файл рядом иos.replace— обрыв прогона не оставит обрезанный JSON. - Логи в
logs/app.logс ротацией 2 МБ × 5 вместо двухprint()в библиотеке. - Единый гейт
check_all.py— 13 проверок плюсruff checkиruff format --check; тем же входом ходит CI на GitHub Actions.
Установщик и сборка
make_msi.py+installer/LLMTestBench.wxs(WiX Toolset 4): установка в
профиль пользователя (%LOCALAPPDATA%\Programs\LLMTestBench), права
администратора не нужны.- При удалении папка приложения убирается целиком — вместе с рабочими папками,
которые создало само приложение. Обновление поверх старой версии данные не
трогает (config.json,history.db,results/переживают обновление).
Оговорка: удалять надо при закрытом приложении. - Копия наборов рядом с
.exeобновляется по штампу.bundle-version; прежняя
откладывается вtests.backup-<версия>-<дата>, чтобы правки из редактора не
пропали.
Документация
- README,
Техзадание.mdи руководство пользователя приведены в соответствие с
кодом: 12 наборов вместо 11, актуальные версии наборов, warm-up и кэш судьи как
реализованные, честные пометки «не реализовано» там, где пусто. - Руководство пересобрано: снимки экрана сняты заново, PDF собран из него.
Полный список изменений — CHANGELOG.md.
Вложения
| Файл | Что это |
|---|---|
LLMTestBench-1.0.3.msi |
установщик в профиль пользователя, без прав администратора |
LLMTestBench.exe |
переносимый запуск — рабочие папки создаются рядом с .exe |
LLMTestBench-1.0.3-manual-ru.pdf |
руководство пользователя со скриншотами |
Требования
Windows 10/11 x64 и внешний llama-server (llama.cpp) на 127.0.0.1:8080 —
модель грузит ваш лаунчер, приложение тестирует то, что уже слушает на порту.
Прямой режим через llama-cpp-python отложен: под sm_120 / CUDA 13.x готовых
колёс нет.
LLM Test Bench 1.0.0
Первый выпуск LLM Test Bench — стенда для тестирования локальных GGUF-моделей,
поднятых внешним llama-server на 127.0.0.1:8080.
Что в выпуске
LLMTestBench-1.0.0.msi— установщик. Ставится в профиль пользователя
(%LOCALAPPDATA%\Programs\LLMTestBench), права администратора не нужны,
ярлык появляется в меню «Пуск», удаление штатное — через «Программы и
компоненты».LLMTestBench.exe— то же приложение без установки, одним файлом
(~56 МБ).config.json, логи, результаты и база истории создаются рядом с
файлом, поэтому папка должна быть доступна на запись.LLMTestBench-1.0.0-manual-ru.pdf— подробное руководство на 32 страницах
со снимком к каждой функции приложения: тестирование, сервер, история,
сравнение, редактор тестов, настройки. Исходный текст —docs/Руководство-пользователя.md
в репозитории.
Требования
- Windows 10/11 x64.
- Собственный
llama-serverна127.0.0.1:8080: приложение его не
поднимает — оно тестирует то, что уже запущено. Если сервер не поднят,
запустится встроенный режим--load-mode none. - Модели в формате GGUF на диске.
Что внутри
- 11 наборов / 97 кейсов: логика, код, следование формату и инструкциям,
скорость, длинный контекст и другое. - Проверки ответов:
contains,not_contains,regex,json,code,
llm_judge,embeddingи другие. Пропуск (например, недоступный судья) не
идёт в знаменатель и не считается провалом. - Метрики: скорости префилла и генерации, расход памяти модели и раскладка
слоёв по устройствам, время до первого токена. - История прогонов в SQLite, сравнение прогонов, HTML-отчёт, печать сравнения.
- Агентный режим: локальная модель как субагент.
Подробное руководство пользователя со скриншотами — во вложении
LLMTestBench-1.0.0-manual-ru.pdf; исходный текст и снимки — в docs/ репозитория.
Лицензия
MIT — см. LICENSE. Правообладатель: aleksandrreva-eng.