시각장애인을 위한 편의점 음료 인식 어플
A Beverage Detection Application for Visually Impaired

목차 Index

1. 개요
2. 데이터 출처, 규모, 전처리 방식
3. 어플 구현 과정
4. 한계점과 확장방안

1. 개요 Overview

다양한 시각장애인의 시야 Various Eyesights of Visually Impaired

• 비장애인은 흔히 시각장애인이 모두 전맹이라고 생각하지만, 실제 시각장애인의 시야는 다양합니다.

시각장애인이 편의점에서 음료를 고르는 방법 The Way Visually Impaired Select Products in Retails

• 대부분의 음료에 점자가 없거나 '음료'라고만 되어 있어 시각장애인이 상품 선택 시 어려움을 겪습니다.

(한솔 영상 움짤로 올라갈 예정)

쇼우나우 어플 소개 Introduction Of ShowNow Application

시각장애인이 어플을 사용하는 방법 The Way Visually Impaired Use Phone and Applications

• 시각장애인도 핸드폰과 어플을 사용할 수 있습니다.

(우령 영상 움짤로 올라갈 예정)

2. 데이터 출처, 규모, 전처리 방식 Dataset

• 데이터는 아래와 같이 세 가지로 나뉩니다.
  • 편의점에서 직접 촬영한 데이터 약 700장
  • AI Hub에서 다운로드 받은 데이터 약 800장
  • 웹크롤링 데이터 약 1800장
• 전처리 작업은 Roboflow에서 진행하였습니다.

3. YOLOv5 nano 모델 선정 이유 The reason of choosing YOLOv5 nano

• YOLOv5 nano는 CPU와 GPU에서 모두 가장 빠른 모델입니다.

• 실제 데이터셋으로 비교하였을 떄에도 YOLOv5 nano가 뛰어난 성능을 보였습니다.

4. 모델 개선 Improving Model Performance

5. 어플 구현 과정

• 어플 시작 → 상품 인식 → TTS로 안내

6. 어플 시연 영상

7. 어플 등록 현황

8. 한계점과 확장 방안

• 한계점

  • 투명 용기 인식에 어려움
  • 상품의 패키징이 변화함에 따라 주기적인 업데이트 필요
  • 스마트폰 기종에 따른 UI와 인퍼런스 성능에 차이가 있어 개선 필요

• 추후 확장 방안

  • STT를 추가하여 소비자가 데이터 추가 요청 가능
  • 상품 별 이벤트 설명 가능
  • OCR을 추가하여 상품 별 유통기한 설명 가능
  • 상품군 확대 가능
  • 아이폰 어플 개발 가능

---

References

1. https://github.com/ultralytics/yolov5
2. https://github.com/AarohiSingla/TFLite-Object-Detection-Android-App-Tutorial-Using-YOLOv5
3. https://www.youtube.com/watch?v=ROn1_O2zEtk

Authors

이창재 박성혜 임보라 정유석