Работа выполнена на Python с использованием Jupyter Notebook.
Одной из основных задач аналитика в нашей команде является корректное проведение экспериментов. Для этого мы применяем метод A/B–тестирования. В ходе тестирования одной гипотезы целевой группе была предложена новая механика оплаты услуг на сайте, у контрольной группы оставалась базовая механика. В качестве задания Вам необходимо проанализировать итоги эксперимента и сделать вывод, стоит ли запускать новую механику оплаты на всех пользователей.
В качестве входных данных Вы имеете 4 csv-файла:
groups.csv - файл с информацией о принадлежности пользователя к контрольной или экспериментальной группе (А – контроль, B – целевая группа)
groups_add.csv - дополнительный файл с пользователями, который вам прислали спустя 2 дня после передачи данных
active_studs.csv - файл с информацией о пользователях, которые зашли на платформу в дни проведения эксперимента.
checks.csv - файл с информацией об оплатах пользователей в дни проведения эксперимента.
Отвечаем на следующие вопросы:
На какие метрики Вы смотрите в ходе анализа и почему?
Имеются ли различия в показателях и с чем они могут быть связаны?
Являются ли эти различия статистически значимыми?
Стоит ли запускать новую механику на всех пользователей?
Образовательные курсы состоят из различных уроков, каждый из которых состоит из нескольких маленьких заданий. Каждое такое маленькое задание называется "горошиной".
Назовём очень усердным учеником того пользователя, который хотя бы раз за текущий месяц правильно решил 20 горошин.
Дана таблица default.peas
| Название атрибута | Тип атрибута | Смысловое значение |
|---|---|---|
| st_id | int | ID ученика |
| timest | timestamp | Время решения карточки |
| correct | bool | Правильно ли решена горошина? |
| subject | text | Дисциплина, в которой находится горошина |
Необходимо написать оптимальный запрос, который даст информацию о количестве очень усердных студентов.
NB! Под усердным студентом мы понимаем студента, который правильно решил 20 задач за текущий месяц.
Образовательная платформа предлагает пройти студентам курсы по модели trial: студент может решить бесплатно лишь 30 горошин в день. Для неограниченного количества заданий в определенной дисциплине студенту необходимо приобрести полный доступ. Команда провела эксперимент, где был протестирован новый экран оплаты.
Дана таблицы: default.peas (см. выше), default.studs:
| Название атрибута | Тип атрибута | Смысловое значение |
|---|---|---|
| st_id | int | ID ученика |
| test_grp | text | Метка ученика в данном эксперименте |
и default.final_project_check:
| Название атрибута | Тип атрибута | Смысловое значение |
|---|---|---|
| st_id | int | ID ученика |
| sale_time | timestamp | Время покупки |
| money | int | Цена, по которой приобрели данный курс |
| subject | text |
Необходимо в одном запросе выгрузить следующую информацию о группах пользователей:
-
ARPU
-
ARPAU
-
CR в покупку
-
СR активного пользователя в покупку
-
CR пользователя из активности по математике (subject = ’math’) в покупку курса по математике
-
ARPU считается относительно всех пользователей, попавших в группы.
Активным считается пользователь, за все время решивший больше 10 задач правильно в любых дисциплинах. Активным по математике считается пользователь, за все время решивший 2 или больше задач правильно по математике.
Реализуйте функцию, которая будет автоматически подгружать информацию из дополнительного файла groups_add.csv (заголовки могут отличаться) и на основании дополнительных параметров пересчитывать метрики.
Реализуйте функцию, которая будет строить графики по получаемым метрикам.
- проведен разведывательный анализ данных;
- выбраны и рассчитаны ключевые метрики;
- с помощью статистических тестов проверены гипотезы для номинативных и категориальных метрик;
- сформулировано решение о целесообразности внедрения новой механики оплаты;
- для 2 задания рассчитаны ключевые метрики образовательной платформы с помощью SQL-запроса после эксперимента нового экрана оплаты;
- реализована функция пересчета метрик;
- реализована функция построения графиков по метрикам.
Проект следует рассматривать как учебный.