Обзорный курс по A/B тестированию

В курсе разобраны основные принципы и инструменты по A/B тестам. Дан обзор необходимой теоретической базы и практических приемов проведения A/B тестов.

Курс состоит из двух занятий. На первом занятии дан обзор задач, решаемых с помощью A/B тестов. На втором занятии разобраны методы и практические особенности проведения A/B тестов.

Занятие 1

• Введение в A/B тестирование
• Планирование и проведение A/B теста и выбор метрики
• Распределение случайной величины
• Выборочное среднее

Занятие 2

• Центральная предельная теорема
• Проверка статистических гипотез
• Z-test и T-test
• Тест для пропорций (конверсий)
• Мощность критерия и ошибки I-го и II-го рода
• Оценка необходимого числа наблюдений в эксперименте
• Непараметрический тест Манна-Утни