[Model] 모델 다양성 추가

[baekkr95]

Background

• swin base 모델로만 앙상블을 해본 결과, LB 점수가 0.005~0.01 정도밖에 오르질 않았음. (pspnet, upernet, PAN)
• 백본의 다양성을 높이면 앙상블 효과를 더 끌어올릴 수 있을 것 같음.

Content

• hrnet + ocr (mmseg). epoch 50

  • valid mIoU : 0.432
  • LB mIoU : 0.5610

• tu-resnest269e + PAN (torch smp), epoch 50

  • valid mIoU : 0.5461
  • LB mIoU : 0.6022

• tu-hrnet_w48 + FPN (torch smp), epoch 50

  • valid mIoU : 0.4698
  • LB mIoU : 0.5482
  • 보통 epoch 40정도부터 수렴성을 보이는데, 학습을 더 해도 될 것 같음.
    

• tu-hrnet_w48 + FPN + multiscale (resize 512, 784, 1024) (torch smp), epoch 50

  • valid mIoU : 0.4802
  • LB mIoU : 0.5233

• inceptionresnetv2 + unet pp + multiscale (randomresizedcrop 512) (torch smp), epoch 50

  • valid mIoU : 0.5252 (epoch50), 0.5514 (best)
  • LB mIoU : 0.5612 (epoch50)

• inceptionresnetv2 + unet pp + noaug (torch smp), epoch 50

  • valid mIoU : 0.57
  • LB mIoU : 0.5606

• tu-xception41 + unet pp + (torch smp, 효석님 이슈 참고) epoch 50

  • valid mIoU :
  • LB mIoU : 0.5025

Details

[baekkr95]

확실히 random crop의 효과가 매우 큰 것 같습니다.
backbone : tu-resnest269e 기준

• randomcrop(384) 전부 적용, epoch 20, 50

  • LB : 0.6295(20), 0.6162(50) -> 오버핏이 된 것 같기도,,?
  • valid : 0.5395(20), 0.5646(50)

• randomcrop(384) 전부 적용, pseudo labeling(효석님 결과 사용), epoch 50

  • LB : 0.7604
  • valid : 0.6098

• randomcrop(384, 512) 절반씩 적용, transform 적용, epoch 50

  • LB : 0.5625
  • valid : 0.4853
  • crop으로 384로 줄이고, resize로 키우는 방식인데, 오히려 성능이 떨어지는 것 같습니다.
    

• no augmentation, epoch 60

  • LB : 0.5802
  • valid : 0.520

• augmentation 적용 (crop 없음), epoch 50

  • LB : 0.6022
  • valid : 0.5461