RaifHack solution [dspyt.com]

Описание

1. Обучение на данных price_type=1
2. Чистка данных (floor, categorical columns)
3. 10 фолдов
4. Предикт домножаем на 0.94
5. Ансамбль LGBMRegressor (0.75) + XGBRegressor (0.05) + CatBoostRegressor (0.2)
6. Публичный лидерборд - 1.4062123483345823

Файл работы - raifhack-dspyt-com-final-solution.ipynb Файл для отправки - submission_final_raif

Запуск

1. убедиться, что у вас стоит python3.6 или выше
2. установить зависимости:

   pip install -r requirements.txt 
   

3. запустить обучение, предикт Обучение и предсказание моделей происходит в ноутбуке raifhack-dspyt-com-final-solution.ipynb
4. загрузить полученные результаты в систему

Анализ

1. Пробовалось агрегировать фичи, но это не дало результат.
2. В колонке city хранятся данные не только о городах, но и о улицах, районах, станциях метро.
3. Очищение колонки floor дало наиболее ощутимый результат.
4. Кросс валидация улучшает результат в среднем на 0.02
5. Пробовались разные варианты ансамблирования, оптимальный представлен в описании (п.5).
6. Пост процессинг, для удаления выбросов умножаем предикты соло моделей на 0.9, финального на 0.94.

Распределение недвижимости по России:

Распределение цен в сабмишине:

Распределение цен в трейне:

Распределение площади недвижимости:

Важность дефолтных фич:

Код на каггле: https://www.kaggle.com/pavfedotov/raifhack-dspyt-com-final-solution

Код для генерации картинок на каггле: https://www.kaggle.com/pavfedotov/raiff21-eda

Идеи по улучшению:

1. Ипользовать TabNet или AutoML
2. Генерация гео-факторов
3. Добавление временных дополнительных данных таких каких инфляция/прогноз инфляции
4. Кластеризация по местоположению
5. Попробовать другие кросс-валидационные функции: GroupKFold, TimeSeriesSplit
6. Псевдолейбелинг

dspyt.com