| Модель | Baseline Accuracy | Baseline F1 | Improved Accuracy | Improved F1 |
|---|---|---|---|---|
| ViT | 0.9003 | 0.9016 | 0.2978 | 0.2708 |
| ResNet | 0.8759 | 0.8757 | 0.8814 | 0.8804 |
| Лог. регрессия | 0.8112 | 0.8118 | 0.8433 | 0.8425 |
| SVM | 0.7867 | 0.7867 | 0.7450 | 0.7454 |
| Модель | Accuracy | mIoU |
|---|---|---|
| Unet + mobilenet_v2 (сверточная) | 0.7338 | 0.0386 |
| DeepLabV3Plus + MiT-B0 (трансформерная) | 0.7139 | 0.0409 |
| Unet + resnet34 + aug (сверточная improved baseline) | 0.7455 | 0.0493 |
| DeepLabV3Plus + MiT-B0 (трансформерная improved baseline) | 0.7512 | 0.0547 |
| KMeans (RGB) | 0.0627 | 0.0110 |
| KMeans (RGB+xy) (improved baseline) | 0.0559 | 0.0119 |
| Модель | Precision | Recall | mAP50 | mAP50-95 |
|---|---|---|---|---|
| Сверточная YOLO | 0.7667 | 0.6716 | 0.7442 | 0.5808 |
| Трансформерная YOLO | 0.8072 | 0.6502 | 0.7083 | 0.5808 |
| Улучшенная сверточная YOLO | 0.6751 | 0.2778 | 0.3251 | 0.1921 |
| Улучшенная трансформерная YOLO | 0.7302 | 0.1576 | 0.1883 | 0.1091 |
| Classic ML Detector | 0.3010 | 0.2420 | — | — |
| Improved ML Detector | 0.2900 | 0.3010 | — | — |
-
Влияние улучшений: Улучшение архитектур и настройка гиперпараметров в целом оказали различное влияние на производительность моделей. Где-то оптимизация параметров позволила добиться повышения точности и F1-меры (например, у ResNet и логистической регрессии в классификации, а также у DeepLabV3Plus + MiT-B0 и Unet + resnet34 в сегментации).
-
Трансформерные модели: результаты показывают, что трансформерные архитектуры способны конкурировать с классическими сверточными решениями. Например, DeepLabV3Plus + MiT-B0 после улучшения превосходит по метрикам базовые сверточные модели в задаче сегментации, а также демонстрирует сопоставимые результаты в задачах обнаружения объектов.
-
Классические методы уступают: классические ML-методы (логистическая регрессия, SVM, KMeans) значительно уступают по результатам современным сверточным и трансформерным моделям в большинстве задач, что подтверждается существенно более низкими метриками точности, F1 и mIoU.
-
Влияние увеличения обучающих данных и аугментаций: улучшение Unet + resnet34 и DeepLabV3Plus + MiT-B0 в задачах сегментации после применения аугментаций и доработок явно показывает важность качественного препроцессинга и расширения обучающих данных для повышения общих метрик — особенно mIoU.