Repository navigation
В этом релизе основное внимание уделено достоверности измерений, автоматизации контроля производительности и расширению возможностей программного API.
Добавлены адаптивные измерения по умолчанию, статистическая оценка результатов, сравнение с эталоном и программные проверки метрик. Улучшены CLI, диагностика, обработка аннотаций и загрузка зависимостей бенчмарков.
Новые возможности
Статистическая достоверность измерений
- Добавлен расчёт доверительных интервалов среднего с доверительной вероятностью 99,9% на основе распределения Стьюдента.
- Реализованы абсолютная и относительная погрешности среднего.
- Добавлено обнаружение выбросов по правилу Тьюки (1,5 IQR). Выбросы помечаются, но не исключаются из статистических расчётов.
- Добавлена диагностика качества измерений: высокая погрешность, недостаточное количество замеров, выбросы и слишком короткие итерации.
- В консольный отчёт добавлена колонка
Errorи отдельный блок диагностики измерений. - Новые статистические показатели и диагностические события включены в JSON-результаты.
Адаптивные итерации по умолчанию
- Вместо фиксированных 15 измерений BenchmarkOneScript автоматически определяет необходимое количество итераций для достижения заданной точности.
- Параметры по умолчанию:
- Целевая относительная погрешность — 10%.
- Минимальное количество измерений — 15.
- Максимальное количество измерений — 100.
- Режим определяется через
КоличествоИтераций:0— адаптивный, положительное целое число — фиксированный. - Добавлена поддержка адаптивного завершения для стратегии холодного запуска.
- Мониторинг памяти теперь выполняет одну отдельную итерацию на кейс независимо от количества временных измерений.
Статистическое сравнение с эталоном
- Добавлено сравнение распределений времени выполнения по критерию Манна — Уитни.
- Учитывается статистическая и практическая значимость различий.
- Результаты сравнения: «Эталон», «Быстрее», «Медленнее», «Практически одинаково», «Различие не обнаружено» и «Недостаточно данных».
- Добавлена колонка отчёта
MannWhitney, отображаемая при включённом статистическом сравнении. - Поддерживаются настраиваемые порог практической значимости (по умолчанию 15%) и уровень статистической значимости (по умолчанию 0,01).
- Для сравнения требуется не менее 15 измерений в каждой выборке.
Статистическое сравнение включается явно через API, аннотации, CLI или JSON-конфигурацию.
Программная проверка результатов бенчмарков
Добавлен fluent API для проверки метрик производительности, позволяющий использовать BenchmarkOneScript в автоматизированных тестах и CI.
- Отбор кейсов по методу, категории, параметрам, идентификатору, версии исполняющей среды и признаку эталона.
- Проверка времени выполнения, процентилей, операций в секунду, выделяемой памяти и относительных показателей.
- Условия
Равно,Меньше,Больше,МеньшеИлиРавно,БольшеИлиРавно,МеждуиОколо. - При нарушении ограничений формируется исключение со сведениями обо всех кейсах, не прошедших проверку.
- Проверки выполняются непосредственно над результатами запуска без необходимости экспорта отчётов.
Добавлены классы ПроверкаРезультатаБенчмарков, ПроверкаМетрикиБенчмарков и модуль МетрикиБенчмарков.
#68 · Отбор неэталонных кейсов
События выполнения бенчмарков
- Добавлен механизм структурированных событий выполнения с диспетчером, наблюдателями и фабрикой событий.
- Поддерживаются уведомления о ходе запуска, выполнении кейсов и итераций, результатах, статистике и артефактах.
- Консольный вывод переведён на наблюдателя событий.
- При запуске нескольких обычных алгоритмов формируется один объединённый результат и общий отчёт.
- Экспортёр возвращает список полных путей созданных файлов.
- Поддерживается выполнение без создания файлов отчётов.
Расширение возможностей CLI
Добавлены новые параметры команды benchos run:
--method— фильтрация по точному имени метода бенчмарка.--category— фильтрация по категории.-q,--quiet— отключение обычного консольного вывода с сохранением итоговых ошибок и кода возврата.--no-progress— отключение вывода прогресса с сохранением итогового отчёта.--maxRelativeError,--minAdaptiveIterationCount,--maxAdaptiveIterationCount— настройка адаптивных измерений.--practicalSignificanceThreshold,--significanceLevel— настройка статистического сравнения.
Добавлена подробная документация формата --settings и правил приоритета настроек.
Улучшения и исправления
Поддержка аннотаций
Исправлены определения аннотаций в соответствии с обновлённой библиотекой annotations.
- Уточнены сигнатуры аннотаций, имена и обязательность параметров.
- Для аннотаций конфигурации стандартизирован параметр
Значение. - Для
&Параметрыдобавлена поддержка произвольного количества аргументов через&Повторяемый. - Для
&ИсполняющаяСредаподдерживаются повторяемые значения с сохранением именованного параметраВерсия. - Исправлены определения аннотаций обработчиков событий: параметр
Контекстисключён из сигнатур аннотаций, но сохранён в сигнатурах самих обработчиков. - Добавлены тесты корректного разбора и разворачивания аннотаций, включая позиционные, именованные и повторяемые аргументы.
Загрузка зависимостей и подготовка окружения
- Исправлены порядок и приоритет загрузки зависимостей из
oscript.cfgи директив#Использовать/#Use. - Реализована предварительная подготовка окружения с анализом зависимостей каждого бенчмарка.
- Поддерживается объединение конфигураций нескольких каталогов и корректное разрешение относительных путей.
- Сохраняются условные директивы препроцессора, режимы компиляции
#nativeи#stack. - Ошибка подключения зависимости одного бенчмарка не препятствует предварительной обработке остальных.
- Добавлена очистка временных файлов при завершении запуска и ошибках.
Прочие исправления
- Точность измерений: стабилизирован автоматический расчёт числа вызовов за итерацию при разовых выбросах.
- Параметры CLI:
-p/--paramзаменяет только одноимённые параметры и их источники, сохраняя остальные. - Приоритет конфигураций: уточнены правила объединения аннотаций, JSON-настроек и параметров CLI.
- Единицы времени: методы преобразования статистики теперь возвращают независимые копии; добавлена поддержка микросекунд и метод
УстановитьЕдиницуВремени(). - Перечисления: добавлены функции для получения значений единиц измерения, стратегий запуска, событий, сортировок, стилей и экспортёров.
- Консольная диагностика: добавлены цветная индикация числовых показателей и Unicode-маркеры предупреждений и информационных сообщений с альтернативой для других кодировок.
##Тестирование и примеры
- Добавлен отдельный каталог
benchmarks/с бенчмарками самой библиотеки BenchmarkOneScript. - Реализованы сценарии измерения накладных расходов, холодного запуска, генерации кейсов, формирования отчётов, расчёта статистики и JSON-сериализации.
- Добавлен пример использования оценки достоверности статистики.
- Расширены тесты аннотаций, адаптивных измерений, статистического сравнения, программных проверок, событий выполнения и загрузки зависимостей.
- Добавлены регрессионные тесты на нестабильные измерения, разовые выбросы и работу с несколькими конфигурациями OneScript.
Сборка и зависимости
- Зависимости теперь включаются в пакет для корректной работы CLI.
- Для сборки проверяется наличие установленных зависимостей в
oscript_modules. - Обновлены библиотеки:
allocs:0.1.0→0.2.0.annotations:1.4.0→1.6.0.autumn:4.3.13→4.3.15.autumn-cli:1.2.0→1.3.0.collectionos:0.8.3→0.9.0.cpuinfo:1.4.0→1.5.0.lambdas:0.3.4→0.3.5.validate:0.3.0→0.4.0.
- Публикация пакета переведена на Trusted Publishing через OIDC вместо передачи
PUSH_TOKENв release workflow. - Механизм обновления зависимостей переведён на
depos-action v2.
⚠️ Совместимость и миграция
Изменение поведения измерений
- По умолчанию используются адаптивные измерения вместо фиксированных 15 итераций.
- Чтобы сохранить фиксированное количество измерений, необходимо явно указать положительное
КоличествоИтерацийили--iterationCount. - Мониторинг памяти больше не зависит от числа временных измерений.
Изменения программного API
ВСекунды(),ВМиллисекунды()иВНаносекунды()больше не изменяют исходный объект статистики. Для преобразования необходимо использовать возвращаемую копию.- Для изменения единицы существующего объекта следует использовать
УстановитьЕдиницуВремени(). - Добавлены функции получения значений перечислений, например
ЭкспортерыРезультатовБенчмарков.Json()иЕдиницыИзмеренийБенчмарков.СекундаИзмерения(). - Прежние экспортируемые поля перечислений сохранены, но помечены устаревшими.
- Изменён конструктор
ЭкспортерРезультатовБенчмарков: параметр репортёра больше не требуется, а методЗаписать()возвращает массив созданных файлов. - Переработаны и переименованы отдельные классы организации запуска и формирования отчётов.
Аннотации и настройки
- Для аннотаций с именованными аргументами необходимо учитывать обновлённые имена параметров, например
&Колонка(Значение = "Пользовательская"). - У
&ИсполняющаяСредапоявился повторяемый параметрЗначение, при этом именованный параметрВерсиясохранён. - Положительный
IterationCountиз JSON переопределяет значение аннотации, аIterationCount: 0при объединении конфигураций не сбрасывает ранее заданное количество итераций. - Непустые коллекции настроек из
--settingsзаменяют соответствующие коллекции аннотаций. - Параметры
--paramпереопределяют только одноимённые значения и источники, а--exportersзаменяет полный список экспортёров.
При обновлении рекомендуется проверить пользовательские обработчики, аннотации с именованными аргументами и программные интеграции с API статистики и экспортёров.
Full Changelog: v0.9.1...v0.10.0