시각장애인을 위한 편의점 음료 인식 어플
A Beverage Detection Application for Visually Impaired

목차 Index

1. 개요
2. 데이터 출처, 규모, 전처리 방식
3. 어플 구현 과정
4. 한계점과 확장방안

1. 개요 Overview

👀 다양한 시각장애인의 시야 Various Eyesights of Visually Impaired

• 비장애인은 흔히 시각장애인이 모두 전맹이라고 생각하지만, 실제 시각장애인의 시야는 다양합니다.

🧃 시각장애인이 편의점에서 음료를 고르는 방법 The Way Visually Impaired Select Products in Retails

• 대부분의 음료에 점자가 없거나 '음료'라고만 되어 있어 시각장애인이 상품 선택 시 어려움을 겪습니다.

<출처: 원샷한솔OneshotHansol - https://www.youtube.com/@OneshotHansol>

쇼우나우 어플 소개 Introduction Of ShowNow Application

📱 시각장애인이 어플을 사용하는 방법 The Way Visually Impaired Use Phone and Applications

• 시각장애인도 핸드폰과 어플을 사용할 수 있습니다.

<출처: 우령의 유디오 - https://www.youtube.com/@Youdio-wooryeong>

‘쇼우나우’를 통한 기대효과

• 상품 선택시 더욱 빨라지는 속도
• 타인의 도움 없이 원활해지는 상품 구매

2. 데이터 출처, 규모, 전처리 방식 Dataset

• 데이터는 아래와 같이 세 가지로 나뉩니다.
  • 편의점에서 직접 촬영한 데이터 약 700장
  • AI Hub에서 다운로드 받은 데이터 약 800장
  • 웹크롤링 데이터 약 1800장
• 전처리 작업은 Roboflow에서 진행하였습니다.

3. YOLOv5 nano 모델 선정 이유 The reason of choosing YOLOv5 nano

• YOLOv5 nano는 CPU와 GPU에서 모두 가장 빠른 모델입니다.

• 실제 데이터셋으로 비교하였을 떄에도 YOLOv5 nano가 뛰어난 성능을 보였습니다.

4. 모델 개선 Improving Model Performance

5. 어플 구현 과정

• 어플 시작 → 상품 인식 → TTS로 안내

6. 어플 시연 영상

7. 어플 등록 현황

8. 한계점과 확장 방안

• 한계점

  • 투명 용기 인식에 어려움
  • 상품의 패키징이 변화함에 따라 주기적인 업데이트 필요
  • 스마트폰 기종에 따른 UI와 인퍼런스 성능에 차이가 있어 개선 필요

• 추후 확장 방안

  • STT를 추가하여 소비자가 데이터 추가 요청 가능
  • 상품 별 이벤트 설명 가능
  • OCR을 추가하여 상품 별 유통기한 설명 가능
  • 상품군 확대 가능
  • 아이폰 어플 개발 가능

---

References

1. https://github.com/ultralytics/yolov5
2. https://github.com/AarohiSingla/TFLite-Object-Detection-Android-App-Tutorial-Using-YOLOv5
3. https://www.youtube.com/watch?v=ROn1_O2zEtk

Authors

이창재 박성혜 임보라 정유석