Skip to content

v0.10.0

Latest

Choose a tag to compare

@Stivo182 Stivo182 released this 26 Oct 21:07

В этом релизе основное внимание уделено достоверности измерений, автоматизации контроля производительности и расширению возможностей программного API.

Добавлены адаптивные измерения по умолчанию, статистическая оценка результатов, сравнение с эталоном и программные проверки метрик. Улучшены CLI, диагностика, обработка аннотаций и загрузка зависимостей бенчмарков.

Новые возможности

Статистическая достоверность измерений

  • Добавлен расчёт доверительных интервалов среднего с доверительной вероятностью 99,9% на основе распределения Стьюдента.
  • Реализованы абсолютная и относительная погрешности среднего.
  • Добавлено обнаружение выбросов по правилу Тьюки (1,5 IQR). Выбросы помечаются, но не исключаются из статистических расчётов.
  • Добавлена диагностика качества измерений: высокая погрешность, недостаточное количество замеров, выбросы и слишком короткие итерации.
  • В консольный отчёт добавлена колонка Error и отдельный блок диагностики измерений.
  • Новые статистические показатели и диагностические события включены в JSON-результаты.

Адаптивные итерации по умолчанию

  • Вместо фиксированных 15 измерений BenchmarkOneScript автоматически определяет необходимое количество итераций для достижения заданной точности.
  • Параметры по умолчанию:
    • Целевая относительная погрешность — 10%.
    • Минимальное количество измерений — 15.
    • Максимальное количество измерений — 100.
  • Режим определяется через КоличествоИтераций: 0 — адаптивный, положительное целое число — фиксированный.
  • Добавлена поддержка адаптивного завершения для стратегии холодного запуска.
  • Мониторинг памяти теперь выполняет одну отдельную итерацию на кейс независимо от количества временных измерений.

#67 · #70

Статистическое сравнение с эталоном

  • Добавлено сравнение распределений времени выполнения по критерию Манна — Уитни.
  • Учитывается статистическая и практическая значимость различий.
  • Результаты сравнения: «Эталон», «Быстрее», «Медленнее», «Практически одинаково», «Различие не обнаружено» и «Недостаточно данных».
  • Добавлена колонка отчёта MannWhitney, отображаемая при включённом статистическом сравнении.
  • Поддерживаются настраиваемые порог практической значимости (по умолчанию 15%) и уровень статистической значимости (по умолчанию 0,01).
  • Для сравнения требуется не менее 15 измерений в каждой выборке.

Статистическое сравнение включается явно через API, аннотации, CLI или JSON-конфигурацию.

#67

Программная проверка результатов бенчмарков

Добавлен fluent API для проверки метрик производительности, позволяющий использовать BenchmarkOneScript в автоматизированных тестах и CI.

  • Отбор кейсов по методу, категории, параметрам, идентификатору, версии исполняющей среды и признаку эталона.
  • Проверка времени выполнения, процентилей, операций в секунду, выделяемой памяти и относительных показателей.
  • Условия Равно, Меньше, Больше, МеньшеИлиРавно, БольшеИлиРавно, Между и Около.
  • При нарушении ограничений формируется исключение со сведениями обо всех кейсах, не прошедших проверку.
  • Проверки выполняются непосредственно над результатами запуска без необходимости экспорта отчётов.

Добавлены классы ПроверкаРезультатаБенчмарков, ПроверкаМетрикиБенчмарков и модуль МетрикиБенчмарков.

#68 · Отбор неэталонных кейсов

События выполнения бенчмарков

  • Добавлен механизм структурированных событий выполнения с диспетчером, наблюдателями и фабрикой событий.
  • Поддерживаются уведомления о ходе запуска, выполнении кейсов и итераций, результатах, статистике и артефактах.
  • Консольный вывод переведён на наблюдателя событий.
  • При запуске нескольких обычных алгоритмов формируется один объединённый результат и общий отчёт.
  • Экспортёр возвращает список полных путей созданных файлов.
  • Поддерживается выполнение без создания файлов отчётов.

#65

Расширение возможностей CLI

Добавлены новые параметры команды benchos run:

  • --method — фильтрация по точному имени метода бенчмарка.
  • --category — фильтрация по категории.
  • -q, --quiet — отключение обычного консольного вывода с сохранением итоговых ошибок и кода возврата.
  • --no-progress — отключение вывода прогресса с сохранением итогового отчёта.
  • --maxRelativeError, --minAdaptiveIterationCount, --maxAdaptiveIterationCount — настройка адаптивных измерений.
  • --practicalSignificanceThreshold, --significanceLevel — настройка статистического сравнения.

Добавлена подробная документация формата --settings и правил приоритета настроек.

#66 · #67

Улучшения и исправления

Поддержка аннотаций

Исправлены определения аннотаций в соответствии с обновлённой библиотекой annotations.

  • Уточнены сигнатуры аннотаций, имена и обязательность параметров.
  • Для аннотаций конфигурации стандартизирован параметр Значение.
  • Для &Параметры добавлена поддержка произвольного количества аргументов через &Повторяемый.
  • Для &ИсполняющаяСреда поддерживаются повторяемые значения с сохранением именованного параметра Версия.
  • Исправлены определения аннотаций обработчиков событий: параметр Контекст исключён из сигнатур аннотаций, но сохранён в сигнатурах самих обработчиков.
  • Добавлены тесты корректного разбора и разворачивания аннотаций, включая позиционные, именованные и повторяемые аргументы.

64279dc

Загрузка зависимостей и подготовка окружения

  • Исправлены порядок и приоритет загрузки зависимостей из oscript.cfg и директив #Использовать / #Use.
  • Реализована предварительная подготовка окружения с анализом зависимостей каждого бенчмарка.
  • Поддерживается объединение конфигураций нескольких каталогов и корректное разрешение относительных путей.
  • Сохраняются условные директивы препроцессора, режимы компиляции #native и #stack.
  • Ошибка подключения зависимости одного бенчмарка не препятствует предварительной обработке остальных.
  • Добавлена очистка временных файлов при завершении запуска и ошибках.

#71

Прочие исправления

  • Точность измерений: стабилизирован автоматический расчёт числа вызовов за итерацию при разовых выбросах.
  • Параметры CLI: -p / --param заменяет только одноимённые параметры и их источники, сохраняя остальные.
  • Приоритет конфигураций: уточнены правила объединения аннотаций, JSON-настроек и параметров CLI.
  • Единицы времени: методы преобразования статистики теперь возвращают независимые копии; добавлена поддержка микросекунд и метод УстановитьЕдиницуВремени().
  • Перечисления: добавлены функции для получения значений единиц измерения, стратегий запуска, событий, сортировок, стилей и экспортёров.
  • Консольная диагностика: добавлены цветная индикация числовых показателей и Unicode-маркеры предупреждений и информационных сообщений с альтернативой для других кодировок.

#63 · #69

##Тестирование и примеры

  • Добавлен отдельный каталог benchmarks/ с бенчмарками самой библиотеки BenchmarkOneScript.
  • Реализованы сценарии измерения накладных расходов, холодного запуска, генерации кейсов, формирования отчётов, расчёта статистики и JSON-сериализации.
  • Добавлен пример использования оценки достоверности статистики.
  • Расширены тесты аннотаций, адаптивных измерений, статистического сравнения, программных проверок, событий выполнения и загрузки зависимостей.
  • Добавлены регрессионные тесты на нестабильные измерения, разовые выбросы и работу с несколькими конфигурациями OneScript.

#59

Сборка и зависимости

  • Зависимости теперь включаются в пакет для корректной работы CLI.
  • Для сборки проверяется наличие установленных зависимостей в oscript_modules.
  • Обновлены библиотеки:
    • allocs: 0.1.0 → 0.2.0.
    • annotations: 1.4.0 → 1.6.0.
    • autumn: 4.3.13 → 4.3.15.
    • autumn-cli: 1.2.0 → 1.3.0.
    • collectionos: 0.8.3 → 0.9.0.
    • cpuinfo: 1.4.0 → 1.5.0.
    • lambdas: 0.3.4 → 0.3.5.
    • validate: 0.3.0 → 0.4.0.
  • Публикация пакета переведена на Trusted Publishing через OIDC вместо передачи PUSH_TOKEN в release workflow.
  • Механизм обновления зависимостей переведён на depos-action v2.

#62 · #72

⚠️ Совместимость и миграция

Изменение поведения измерений

  • По умолчанию используются адаптивные измерения вместо фиксированных 15 итераций.
  • Чтобы сохранить фиксированное количество измерений, необходимо явно указать положительное КоличествоИтераций или --iterationCount.
  • Мониторинг памяти больше не зависит от числа временных измерений.

Изменения программного API

  • ВСекунды(), ВМиллисекунды() и ВНаносекунды() больше не изменяют исходный объект статистики. Для преобразования необходимо использовать возвращаемую копию.
  • Для изменения единицы существующего объекта следует использовать УстановитьЕдиницуВремени().
  • Добавлены функции получения значений перечислений, например ЭкспортерыРезультатовБенчмарков.Json() и ЕдиницыИзмеренийБенчмарков.СекундаИзмерения().
  • Прежние экспортируемые поля перечислений сохранены, но помечены устаревшими.
  • Изменён конструктор ЭкспортерРезультатовБенчмарков: параметр репортёра больше не требуется, а метод Записать() возвращает массив созданных файлов.
  • Переработаны и переименованы отдельные классы организации запуска и формирования отчётов.

Аннотации и настройки

  • Для аннотаций с именованными аргументами необходимо учитывать обновлённые имена параметров, например &Колонка(Значение = "Пользовательская").
  • У &ИсполняющаяСреда появился повторяемый параметр Значение, при этом именованный параметр Версия сохранён.
  • Положительный IterationCount из JSON переопределяет значение аннотации, а IterationCount: 0 при объединении конфигураций не сбрасывает ранее заданное количество итераций.
  • Непустые коллекции настроек из --settings заменяют соответствующие коллекции аннотаций.
  • Параметры --param переопределяют только одноимённые значения и источники, а --exporters заменяет полный список экспортёров.

При обновлении рекомендуется проверить пользовательские обработчики, аннотации с именованными аргументами и программные интеграции с API статистики и экспортёров.

Full Changelog: v0.9.1...v0.10.0