Барсуков Егор М8О-410Б-21
Для классификации был выбрал датасет 'Loan new dataset' https://www.kaggle.com/datasets/willianoliveiragibin/financial-risk-v2,
Задачей было определять, разрешат ли кредит клиенту - столбец LoanApproved (0 - не разрешено, 1 - разрешено)
Для регрессии был выбран датасет 'medical_insurance' https://www.kaggle.com/datasets/rahulvyasm/medical-insurance-cost-prediction,
Задачей было предсказывать цену страховки - столбец charges.
ЛР №1 Проведение исследований с алгоритмом KNN
ЛР №2 Проведение исследований с логистической и линейной регрессией.
ЛР №3 Проведение исследований с решающим деревом.
ЛР №4 Проведение исследований со случайным лесом.
ЛР №5 Проведение исследований с градиентным бустингом.
В файле LabsAll.ipynb представлены все лабораторные единым файлом.
Классификация
| Модель | Бейзлайн (метрика accuracy) | Улучшенный бейзлайн (метрика accuracy) |
|---|---|---|
| KNN | 0.95125 | 0.95525 |
| Мой KNN | 0.6 | 0.6 |
| Логистическая регрессия | 0.994 | 0.9842 |
| Моя логистическая регрессия | 0.9272 | 0.9395 |
| Решающее дерево | 0.987 | 0.9877 |
| Моё решающее дерево | 0.985 | 0.985 |
| Случайный лес | 0.9895 | 0.9887 |
| Мой случайный лес | 0.77 | 0.84 |
| Градиентный бустинг | 0.9972 | 0.9825 |
| Мой градиентный бустинг | 0.975 | 0.9916 |
Регрессия
| Модель | Бейзлайн (метрика R^2) | Улучшенный бейзлайн (метрика R^2) |
|---|---|---|
| KNN | 0.4045 | 0.9588 |
| Мой KNN | 0.8420 | 0.8636 |
| Логистическая регрессия | 0.7398 | 0.823 |
| Моя логистическая регрессия | 0.7398 | 0.634 |
| Решающее дерево | 0.937 | 0.9335 |
| Моё решающее дерево | 0.9341 | 0.9341 |
| Случайный лес | 0.9513 | 0.9493 |
| Мой случайный лес | 0.6068 | 0.5552 |
| Градиентный бустинг | 0.8772 | 0.8642 |
| Мой градиентный бустинг | 0.7339 | 0.8642 |
Можно сделать вывод, что наилучшее качество по выбранным метрикам для классификации показала модель градиентного бустинга из sklearn (accuracy 0.9972), а для регрессии - улучшенная модель KNN из sklearn (R^2 0.9588).