В проекте я работаю с результатами двух тестов приложения по доставке готовых продуктов.
- В первом тестировали разрешение фотографий блюд в приложении: пользователям показывались либо прямоугольные, либо новые квадратные
- Во втором: была обновлена кнопка заказа, и часть юзеров видела старый вариант, а часть – новый
Проверить гипотезы, сделать соответствующие выводы на основе статистических тестов и принять решения.
В проекте я:
- Выбрала метод для первого теста
- Проверила, являются ли дисперсии внутри групп гомогенными.
- Провела тест на нормальность распределения.
- Сравнила средние в представленных группах.
- Использовала критерий Тьюки и определила, между какими группами есть статистически значимые различия.
- Приняла решение: какие картинки в итоге будем использовать?
- Выберла метод для второго теста.
- Визуализировала распределение events для контрольной и тестовой групп.
- Посмотрела на описательные статистики events в разбивке по группе и по сегменту пользователя.
10 - 11. Выбрала формулу для модели и провела тест.
Распределения events в группах являются нормальными.
Для сравнения средних я использовала однофакторный дисперсионный анализ. Статистика в тесте равна 2886, p-value 0.0.
Будем использовать B – квадратные картинки, потому что среднее наибольшее и статистически значимо отличается от A & C
Буду использовать многофакторный дисперсионный анализ
Распределение events для контрольной и тестовой групп:
\
Фактор group оказался значимым, фактор segment – значимым, их взаимодействие – значимо. Судя по графику, для всех групп среднее значение events увеличилось, поэтому решение: выкатываем новую версию.
Визуализация теста:
