module-5

Занятие 17. Определение цели МЛ проекта и предварительный анализ

• Цели МЛ проектов: краткосрочные/долгосрочные, инертные/динамичные.
• Цель – онлайн-метрика – оффлайн-метрика – функция потерь.
• Инструменты ad-hock аналитики: Zeppelin с плагином для IDEA, Polynote.

Занятие 18. Долгосрочные ML цели на примере задачи уменьшения оттока.

• Проблема correlation vs. causation
• Формирование критерия оттекших/удержавшихся пользователей
• Инжиниринг фичей
• Тренировка и интерпретация модели
• Формулировка набора гипотез

Занятие 19. А/Б тестирование

• Введение в А/Б тесты
• Доверительные интервалы и статистические гипотезы.
• Формулировка целей, дизайн теста, определение времени и объема аудитории.
• Множественное тестирование в теории и на практике, снижение FDR. Гетерогенный эффект.

Занятие 20. Дополнительные темы

• Counterfactual reasoning на примере оффлайн А/Б тестривания ML моделей рекомендательных систем (в том числе как метод коррекции смещения в обучении)
• Дизайн синтетических метрик для оффлайн и онлайн тестов