Skip to content

АА Test

anastasiiafed24 edited this page Jul 24, 2025 · 5 revisions

AA Test

AA Test is a crucial stage in preparing and validating experiments like A/B testing. It verifies that the selected data split is truly random and that groups are comparable.

Why AA Test is needed:

  • Validates correct random splitting (no systematic differences between groups).
  • Selects the best data splitting option from multiple options.
  • Checks applicability of statistical tests for homogeneity assessment.

HypEx Capabilities for AA Testing:

  • Rapid creation and analysis of synthetic and real-world data.
  • Support for stratification and custom column roles (feature, treatment, target, info, stratification).
  • Flexible configuration of iterations, random state, and sample size.
  • Automatic calculation of statistical tests (TTest, KSTest) and result visualization.
  • Handles large datasets and data subset sampling.

Usage Example:

from hypex import AATest
from hypex.dataset import Dataset, InfoRole, StratificationRole, TargetRole, TreatmentRole

data = Dataset(
    roles={
        "user_id": InfoRole(int),
        "treat": TreatmentRole(int),
        "pre_spends": TargetRole(),
        "post_spends": TargetRole(),
        "gender": StratificationRole(str)
    }, data="data.csv",
)

aa = AATest(n_iterations=10, stratification=True)
res = aa.execute(data)
print(res.resume)

AA Test in HypEx is a fast way to ensure your groups are truly comparable and your experiment is valid.

Statistical Tests Used

  • T-test and KS-test for numerical features.
  • Chi-square test for categorical features.

OK result per feature → groups are homogeneous.
NOT OK → groups are non-homogeneous; split requires refinement.

Interpreting p-value

  • p-value: Probability of observing group differences by chance if groups are identical.
  • p-value > 0.05 → differences are statistically insignificant; groups are homogeneous.
    Learn more: Wikipedia: p-value.

AA Score Calculation in HypEx

AA Score is a composite metric evaluating group split quality in AA tests. It incorporates p-values from all numerical features (weighted) and mean test scores.

Formula Essence:

  1. Collect p-values for all numerical features (per test: T-test/KS-test) with feature weights.
  2. Calculate weighted average p-value.
  3. Multiply averaged p-value by 2/3.
  4. Add 1/3 of the mean test score (proportion of tests where homogeneity was confirmed).

Equation:

$$ \text{AA Split Score} = \frac{2}{3} \cdot \overline{p\text{-value}} + \frac{1}{3} \cdot \text{mean test score} $$

where:

  • $\overline{p\text{-value}}$ = weighted average p-value for numerical features
  • $\text{mean test score}$ = proportion of successful homogeneity tests

Sample Output

feature TTest aa test KSTest aa test result control mean test mean difference p-value (TTest) p-value (KS)
pre_spends OK NOT OK OK 487.0 487.2 0.2 0.65 0.93
post_spends OK OK OK 452.5 451.8 -0.7 0.36 0.57

AA Test: Быстрая проверка корректности разбиения

AA-тест — это ключевой этап при подготовке и валидации экспериментов, таких как A/B-тестирование. Он позволяет убедиться, что выбранное разбиение данных действительно случайное и группы сопоставимы между собой.

Зачем нужен AA-тест:

  • Проверка корректности случайного разбиения (отсутствие систематических различий между группами).
  • Выбор наилучшего способа разбиения из нескольких вариантов.
  • Проверка применимости статистических критериев для оценки однородности.

Возможности HypEx для AA-теста:

  • Быстрое создание и анализ синтетических и реальных данных.
  • Поддержка стратификации и задания пользовательских ролей для колонок (feature, treatment, target, info, stratification).
  • Гибкая настройка числа итераций, random state и размера выборки.
  • Автоматический расчет статистических критериев (TTest, KSTest) и визуализация результатов.
  • Поддержка работы с большими датасетами и выборкой подмножеств данных.

Пример использования:

from hypex import AATest
from hypex.dataset import Dataset, InfoRole, StratificationRole, TargetRole, TreatmentRole

data = Dataset(
    roles={
        "user_id": InfoRole(int),
        "treat": TreatmentRole(int),
        "pre_spends": TargetRole(),
        "post_spends": TargetRole(),
        "gender": StratificationRole(str)
    }, data="data.csv",
)

aa = AATest(n_iterations=10, stratification=True)
res = aa.execute(data)
print(res.resume)

AA-тест в HypEx — это быстрый способ убедиться, что ваши группы действительно сопоставимы, а эксперимент будет корректным.

Какие тесты используются

  • T-test и KS-test применяются для числовых признаков (features).
  • Хи-квадрат тест используется для категориальных признаков.

Если результат по признаку — OK, значит, группы однородны по этому признаку. Если NOT OK — группы не однородны, и разбиение требует доработки.

Интерпретация p-value

  • p-value — это вероятность получить наблюдаемое различие между группами случайно, при условии, что группы на самом деле одинаковы.
  • Если p-value > 0.05, различия считаются статистически незначимыми, и группы можно считать однородными.

Подробнее о p-value — см. Wikipedia: p-value.

Как считается AA Score в HypEx

AA Score — это интегральная метрика качества разбиения на группы (сплита) в AA-тесте. Она учитывает p-value по всем числовым фичам с учетом их весов, а также средний тестовый скор.

Суть формулы:

  1. Берутся p-value для всех числовых признаков (features), по каждому тесту (T-test, KS-test), с учетом весов признаков.
  2. Считается среднее взвешенное p-value по всем признакам.
  3. Усредненное p-value домножается на 2/3.
  4. К этому добавляется 1/3 среднего тестового скора (mean test score — это доля тестов, где разбиение прошло успешно).
  5. Итоговый скор — это сумма этих двух частей.

Формула в виде уравнения

$$ \text{AA Split Score} = \frac{2}{3} \cdot \overline{p\text{-value}} + \frac{1}{3} \cdot \text{mean test score} $$

где

  • $\overline{p\text{-value}}$ — среднее (или взвешенное) значение p-value по числовым признакам,
  • $\text{mean test score}$ — доля тестов, где группы признаны однородными.

Пример вывода

feature TTest aa test KSTest aa test result control mean test mean difference p-value (TTest) p-value (KS)
pre_spends OK NOT OK OK 487.0 487.2 0.2 0.65 0.93
post_spends OK OK OK 452.5 451.8 -0.7 0.36 0.57