Spam Recognition Model

Задача: сделать модель, которая будет по тексту писем определять является ли письмо СПАМом или нет.

Датасет: ссылка

Stack: Python, Sklearn, CatBoost

Код

• Ноутбук с комментариями.
• Результаты модели на test_spam.csv

Что было сделано:

1. Предобработка и анализ данных.

2. Использование различных моделей для получения наилучшего результата ROC-AUC:

   • радиентный бустинг (CatBoost)
   • Random Forest
   • Линейная регрессия
   • Наивный байесовский классификатор
   • SVM

3. Сравнение результатов моделей и выбор лучшей.

Результаты

В результате все выбранные модели, кроме SVM, показали себя хорошо. Наилучший скор был у градиентного бустинга из CatBoost.

Модель	ROC-AUC score
Градиентный бустинг (CatBoost)	0.982495
Random Forest	0.981997
Логистическая регрессия	0.981926
Наивный байесовский классификатор	0.972548
SVM	0.924300

Результаты лучшей модели на test_spam.csv

Об авторе

• Макс Кудряшов: студент 3 курса «Прикладной математики» НИУ ВШЭ
• Другие проекты: GitHub
• Связаться: Telegram