Repository navigation
АА Test
AA Test is a crucial stage in preparing and validating experiments like A/B testing. It verifies that the selected data split is truly random and that groups are comparable.
Why AA Test is needed:
- Validates correct random splitting (no systematic differences between groups).
- Selects the best data splitting option from multiple options.
- Checks applicability of statistical tests for homogeneity assessment.
HypEx Capabilities for AA Testing:
- Rapid creation and analysis of synthetic and real-world data.
- Support for stratification and custom column roles (
feature,treatment,target,info,stratification). - Flexible configuration of iterations, random state, and sample size.
- Automatic calculation of statistical tests (TTest, KSTest) and result visualization.
- Handles large datasets and data subset sampling.
Usage Example:
from hypex import AATest
from hypex.dataset import Dataset, InfoRole, StratificationRole, TargetRole, TreatmentRole
data = Dataset(
roles={
"user_id": InfoRole(int),
"treat": TreatmentRole(int),
"pre_spends": TargetRole(),
"post_spends": TargetRole(),
"gender": StratificationRole(str)
}, data="data.csv",
)
aa = AATest(n_iterations=10, stratification=True)
res = aa.execute(data)
print(res.resume)AA Test in HypEx is a fast way to ensure your groups are truly comparable and your experiment is valid.
- T-test and KS-test for numerical features.
- Chi-square test for categorical features.
OK result per feature → groups are homogeneous.
NOT OK → groups are non-homogeneous; split requires refinement.
- p-value: Probability of observing group differences by chance if groups are identical.
-
p-value > 0.05 → differences are statistically insignificant; groups are homogeneous.
Learn more: Wikipedia: p-value.
AA Score is a composite metric evaluating group split quality in AA tests. It incorporates p-values from all numerical features (weighted) and mean test scores.
- Collect p-values for all numerical features (per test: T-test/KS-test) with feature weights.
- Calculate weighted average p-value.
- Multiply averaged p-value by 2/3.
- Add 1/3 of the mean test score (proportion of tests where homogeneity was confirmed).
where:
-
$\overline{p\text{-value}}$ = weighted average p-value for numerical features -
$\text{mean test score}$ = proportion of successful homogeneity tests
| feature | TTest aa test | KSTest aa test | result | control mean | test mean | difference | p-value (TTest) | p-value (KS) |
|---|---|---|---|---|---|---|---|---|
| pre_spends | OK | NOT OK | OK | 487.0 | 487.2 | 0.2 | 0.65 | 0.93 |
| post_spends | OK | OK | OK | 452.5 | 451.8 | -0.7 | 0.36 | 0.57 |
AA-тест — это ключевой этап при подготовке и валидации экспериментов, таких как A/B-тестирование. Он позволяет убедиться, что выбранное разбиение данных действительно случайное и группы сопоставимы между собой.
Зачем нужен AA-тест:
- Проверка корректности случайного разбиения (отсутствие систематических различий между группами).
- Выбор наилучшего способа разбиения из нескольких вариантов.
- Проверка применимости статистических критериев для оценки однородности.
Возможности HypEx для AA-теста:
- Быстрое создание и анализ синтетических и реальных данных.
- Поддержка стратификации и задания пользовательских ролей для колонок (feature, treatment, target, info, stratification).
- Гибкая настройка числа итераций, random state и размера выборки.
- Автоматический расчет статистических критериев (TTest, KSTest) и визуализация результатов.
- Поддержка работы с большими датасетами и выборкой подмножеств данных.
Пример использования:
from hypex import AATest
from hypex.dataset import Dataset, InfoRole, StratificationRole, TargetRole, TreatmentRole
data = Dataset(
roles={
"user_id": InfoRole(int),
"treat": TreatmentRole(int),
"pre_spends": TargetRole(),
"post_spends": TargetRole(),
"gender": StratificationRole(str)
}, data="data.csv",
)
aa = AATest(n_iterations=10, stratification=True)
res = aa.execute(data)
print(res.resume)AA-тест в HypEx — это быстрый способ убедиться, что ваши группы действительно сопоставимы, а эксперимент будет корректным.
- T-test и KS-test применяются для числовых признаков (features).
- Хи-квадрат тест используется для категориальных признаков.
Если результат по признаку — OK, значит, группы однородны по этому признаку. Если NOT OK — группы не однородны, и разбиение требует доработки.
- p-value — это вероятность получить наблюдаемое различие между группами случайно, при условии, что группы на самом деле одинаковы.
- Если p-value > 0.05, различия считаются статистически незначимыми, и группы можно считать однородными.
Подробнее о p-value — см. Wikipedia: p-value.
AA Score — это интегральная метрика качества разбиения на группы (сплита) в AA-тесте. Она учитывает p-value по всем числовым фичам с учетом их весов, а также средний тестовый скор.
- Берутся p-value для всех числовых признаков (features), по каждому тесту (T-test, KS-test), с учетом весов признаков.
- Считается среднее взвешенное p-value по всем признакам.
- Усредненное p-value домножается на 2/3.
- К этому добавляется 1/3 среднего тестового скора (
mean test score— это доля тестов, где разбиение прошло успешно). - Итоговый скор — это сумма этих двух частей.
где
-
$\overline{p\text{-value}}$ — среднее (или взвешенное) значение p-value по числовым признакам, -
$\text{mean test score}$ — доля тестов, где группы признаны однородными.
| feature | TTest aa test | KSTest aa test | result | control mean | test mean | difference | p-value (TTest) | p-value (KS) |
|---|---|---|---|---|---|---|---|---|
| pre_spends | OK | NOT OK | OK | 487.0 | 487.2 | 0.2 | 0.65 | 0.93 |
| post_spends | OK | OK | OK | 452.5 | 451.8 | -0.7 | 0.36 | 0.57 |