Анализ A/B-теста для мобильной игры Cookie Cats. Цель: проверить, улучшает ли новый onboarding (gate_40) retention пользователей по сравнению со старым (gate_30).
- Day 1 Retention: % пользователей, вернувшихся на следующий день
- Day 7 Retention: % пользователей, вернувшихся через неделю
- Статистический тест: Z-test для пропорций
- Sample size: ~45,000 пользователей на группу
- Уровень значимости: α = 0.05
- Effect Size: Cohen's h
- Day 1 Retention: Разница -0.59 pp (НЕ статистически значима, p=0.074)
- Day 7 Retention: Разница -0.82 pp (статистически значима, p<0.05)
- Вывод: Новый onboarding НЕ улучшил retention. Рекомендуется НЕ внедрять.
Python, pandas, scipy, statsmodels, matplotlib, seaborn, Google Colab
Mobile_Game_case.ipynb— полный анализcookie_cats.csv— датасет (не включён, доступен на Kaggle)