Решена задача машинного обучения, направленная на автоматизацию бизнес-процессов. Построена модель, которая предсказывает общую продолжительность поездки на такси в Нью-Йорке.
Состав команды: Кудлай Д.Г.
Бизнес-задача: определить характеристики и с их помощью спрогнозировать длительность поездки на такси.
Техническая задача: построить модель машинного обучения, которая на основе предложенных характеристик клиента будет предсказывать числовой признак — время поездки такси, то есть решить задачу регрессии.
ОСНОВНЫЕ ЦЕЛИ: Сформировать набор данных на основе нескольких источников информации. Спроектировать новые признаки с помощью Feature Engineering и выявить наиболее значимые при построении модели. Исследовать предоставленные данные и выявить закономерности. Построить несколько моделей и выбрать из них ту, которая показывает наилучший результат по заданной метрике. Спроектировать процесс предсказания длительности поездки для новых данных. Загрузить ноутбук с решением на GitHub.
ЭТАПЫ ПРОЕКТА:
1. Первичная обработка данных. В ходе работы определены группы признаков и целевой признак, проведен базовый анализ того, насколько данные готовы к дальнейшей предобработке и анализу.
2. Разведывательный анализ данных (EDA). На данном этапе исследован сформированный набор данных, найдены закономерности, позволяющие сформулировать предварительные гипотезы относительно того, какие факторы являются решающими в определении длительности поездки, оформлена визуализация анализа.
3. Отбор и преобразование признаков. В процессе работы отобраны признаки, которые будут использованы для обучения модели, масштабированы и трансформированы некоторые признаки, исключены неинформативные и избыточные признаки, рассчитаны средние по закодированным столбцам, сгенерированы бинарные столбцы, отобраны 25 признаков, наилучшим образом подходящих для предсказания целевой переменной, нормализованы предикторы.
4. Решение задачи регрессии: линейная регрессия и деревья решений. Построены модель линейной регрессии и модель дерева решений на обучающей выборке. Определены значения метрик RMSLE. Построены линейные графики изменения метрики RMSE на тренировочной и валидационной выборках в зависимости от значения параметра глубины дерева решений.
5. Решение задачи регрессии: ансамбли моделей и построение прогноза. Построены модель случайного леса и модель градиентного бустинга над деревьями решений. Определены значения метрик RMSLE. Визуализирована значимость каждого из факторов. Рассчитана медианную абсолютную ошибку MeAE. Сделано предсказание для отложенного тестового набора данных.