А нужен ли letter_box при обучении?

[dkubatin]

Доброго времени суток @AlexeyAB !

При обучении модели yolov3-tiny-3l было обнаружено, что bbox выделялись не достаточно правильно, границы постоянно смещались, в issues были найдены ваши рекомендации (#3119) по использованию letter_box при обучении и при расчете map. В какой-то момент стало казаться, что при использовании данного параметра сеть стала лучше выделять bbox, но решив углубиться в проблему удивился.

Использовав флаг -show_imgs при обучении было замечено, что параметр letter_box не влияет на правильное сохранение пропорций изображения. Картинка всё также пережимается, что и без letter_box.

В чем причина данного поведения и почему использование данного параметра никак не влияет на правильное сохранение пропорций изображения и истинных координат bbox?

В заключении прилагаю некоторые сохраненные изображения при использовании флага -show_imgs

Спасибо!

[AlexeyAB]

jitter= - randomly resizes aspect ratio of image.

Just for expetiment try:

• set width=416 height=416 in cfg, set jitter=0.0 in the last [yolo]-layer and train with -show_imgs with & without letter_box=1

• set width=640 height=160 in cfg, set jitter=0.3 in the last [yolo]-layer and train with -show_imgs with & without letter_box=1

you will see how does it work

[dkubatin]

jitter= - randomly resizes aspect ratio of image.

Just for expetiment try:

• set width=416 height=416 in cfg, set jitter=0.0 in the last [yolo]-layer and train with -show_imgs with & without letter_box=1
• set width=640 height=160 in cfg, set jitter=0.3 in the last [yolo]-layer and train with -show_imgs with & without letter_box=1

you will see how does it work

Отлично, спасибо за объяснение!

[dkubatin]

@AlexeyAB, интересует еще один вопрос, связанный с letter_box.

Планируется ли внедрение letter_box при рассчете anchors в ближайшем времени (#3119)? Ведь это играет немаловажную при обучении.

[AlexeyAB]

No.
It is recommended to use default anchors. https://github.com/AlexeyAB/darknet#how-to-improve-object-detection