Skip to content

AB Test

anastasiiafed24 edited this page Jul 24, 2025 · 2 revisions

AB Test

A/B testing is a research method that evaluates how product changes affect selected metrics. Using an A/B test, you can determine which product version delivers better results and whether the difference is statistically significant.

Key AB Test Capabilities in HypEx

  • Automatic effect calculation for numerical and categorical features
  • Additional test support: t-test, u-test (Mann-Whitney), chi2-test
  • Multi-group testing (ABn)
  • Flexible role management: detection of target, categorical, and auxiliary features

Statistical Tests Used

  • T-test (with Welch's Test) and U-test - for numerical features (e.g., revenue, conversion)
  • Chi2-test - for categorical features (e.g., gender, industry)

OK result → difference between groups is statistically significant
NOT OK → difference is insignificant

Welch's T-Test

Welch's T-Test is applied in t-tests when group variances differ. This makes the t-test more reliable for unequal variances and/or group sizes. Learn more: Welch's t-test (Wikipedia).

Interpreting p-value

  • p-value: Probability of observing group differences by chance when no actual difference exists (details)
  • p-value < 0.05 → difference is statistically significant

Code Example

from hypex import ABTest
from hypex.dataset import Dataset, InfoRole, TargetRole, TreatmentRole

data = Dataset(
    roles={
        "user_id": InfoRole(int),
        "treat": TreatmentRole(),
        "pre_spends": TargetRole(),
        "post_spends": TargetRole(),
        "gender": TargetRole()
    }, data="data.csv",
)

test = ABTest(additional_tests=['t-test', 'u-test', 'chi2-test'])
result = test.execute(data)
print(result.resume)

Sample Output

feature group control mean test mean difference difference % TTest pass TTest p-value UTest pass UTest p-value Chi2Test pass Chi2Test p-value
pre_spends 1 487.07 487.02 -0.05 -0.01% NOT OK 0.91 NOT OK 0.76 NaN NaN
post_spends 2 451.70 451.86 0.16 0.04% NOT OK 0.86 NOT OK 0.57 NaN NaN
gender 1 NaN NaN NaN NaN NaN NaN NaN NaN NOT OK 0.95

ATE (Average Treatment Effect)

  • The difference column in reports shows the gap between metric averages in test vs control groups. This difference represents ATE - the average treatment effect (e.g., new feature) on the selected metric.
  • difference % - relative percentage change between groups.

AB Testing in HypEx provides a fast, reliable way to compare groups, identify statistically significant differences, and generate transparent reports for all metrics.


AB Test

A/B тестирование — это исследовательский метод, который позволяет оценить влияние изменений в продукте на выбранные метрики. С помощью A/B теста можно определить, какая из версий продукта дает лучший результат и насколько это различие статистически значимо.

Основные возможности AB Test в HypEx

  • Автоматический расчет эффектов для числовых и категориальных признаков.
  • Поддержка дополнительных тестов: t-test, u-test (Манна-Уитни), chi2-test.
  • Мультигрупповые тесты (ABn).
  • Гибкая работа с ролями: определение целевых, категориальных и дополнительных признаков.

Какие тесты используются

  • T-test(с поправкой Уэлча) и U-test — для числовых признаков (например, доход, конверсия).
  • Chi2-test — для категориальных признаков (например, пол, индустрия).

Если результат по признаку — OK, значит, различие между группами статистически значимо. Если NOT OK — различие незначимо.

Поправка Уэлча для t-теста

Поправка Уэлча применяется в t-тесте, если дисперсии в группах различаются. Это делает t-тест более надежным при неравных дисперсиях и/или размерах групп. Подробнее: Welch's t-test (Wikipedia).

Как интерпретировать p-value

  • p-value — вероятность получить наблюдаемое различие между группами случайно, при условии, что различий нет (подробнее).
  • Если p-value < 0.05, различие между группами считается статистически значимым.

Пример кода

from hypex import ABTest
from hypex.dataset import Dataset, InfoRole, TargetRole, TreatmentRole

data = Dataset(
    roles={
        "user_id": InfoRole(int),
        "treat": TreatmentRole(),
        "pre_spends": TargetRole(),
        "post_spends": TargetRole(),
        "gender": TargetRole()
    }, data="data.csv",
)

test = ABTest(additional_tests=['t-test', 'u-test', 'chi2-test'])
result = test.execute(data)
print(result.resume)

Пример вывода

feature group control mean test mean difference difference % TTest pass TTest p-value UTest pass UTest p-value Chi2Test pass Chi2Test p-value
pre_spends 1 487.07 487.02 -0.05 -0.01 NOT OK 0.91 NOT OK 0.76 NaN NaN
post_spends 2 451.70 451.86 0.16 0.04 NOT OK 0.86 NOT OK 0.57 NaN NaN
gender 1 NaN NaN NaN NaN NaN NaN NaN NaN NOT OK 0.95

ATE (Average Treatment Effect):

  • В колонке difference в отчёте выводится разница между средними значениями метрики в тестовой и контрольной группе. Эта разница и есть ATE — средний эффект воздействия (например, нового функционала) на выбранную метрику.
  • difference % — относительное изменение в процентах между группами.

A/B тест в HypEx — это быстрый и надежный способ сравнить группы, выявить статистически значимые различия и получить прозрачный отчет по всем метрикам.