2022_2023_test_triggers_effect

Триггерные рассылки. Анализ влияния на завершение тестов.

Letovo.online. Февраль 2023.

Данные

Таблица df (данные о начальных тестах на платформе Летово.Онлайн за 2021-2023 годы):

• year — учебный год
• id — id тестовой попытки в системе
• test_finished — завершен ли тест
• started_at — тест начат
• finished_at — тест завершен

Задача

В 2021-2022 году всем ученикам, которые писали тесты на платформе Летово.Онлайн, рассылали триггерные рассылки, если они не завершали начатый тест к определенному сроку

• 1 триггер, если не завершали за сутки
• 2 триггер, если не завершали за первые 7 суток, т.е. на 8-е сутки приходил 2й триггер
• 3 триггер, если не завершали за первые 14 суток, т.е на 15-е сутки приходил 3й триггер

В 2022-2023 году всем ученикам перестали посылать триггерные рассылки.

Необходимо сравнить конверсии в завершение тестов, а также распределение завершивших по триггерным группам, чтобы выяснить есть ли разница в данных по двум годам.

Тесты брались за каждый учебный год до 16.02 включительно и соотвественно и завершенными считались только тесты, которые были завершены к этому сроку.

Используемые библиотеки

pandas, seaborn, matplotlib, numpy, math, scipy.stats

Основные выводы

• Общая конверсия в завершение тестов существенно различается по годам (55% в 2021-2022 против 50% в 2022-2023). Статистическая значимость подтверждается $Z$-тестом на равенство долей, а также перестановочным тестом.

• Разница в конверсии достигает максимального значения (почти 10%) для тестов начатых в первые месяцы учебного года, затем плавно снижается до 1% в конце январе - начале февраля.

• Процент завершенных тестов, в которых прошли хотя бы сутки с момента начала до окончания, статистически значимо выше в 2021-2022 году. По таким тестам в 2021-2022 году рассылались напоминания. Опять же это подтвержает Z-тест на равенство долей и перестановочный тест. Возможно это свидетельствует о том, что триггерные рассылки имели некоторый эффект.

• Конверсия в завершение в группе тестов, для которых прошло хотя бы сутки с момента начала до окончания или до 16.02, существенно выше в 2021-2022 году (31.4% против 26.3%).

• В то же время конверсия из начавших в завершенные выше в 2021-2022 году во всех триггерных группах, включая нулевую. Разница в конверсии в нулевую группу статистически значима, что показывает Z-тест. Это говорит о том, что и в тестах, где рассылок не было, конверсия выше в 2021-2022 году, а значит имели место какие-то еще факторы, влияющие на конверсию помимо рассылок.