꼼대 (꼼꼼하게 대신 점검해드립니다)

👆 위 이미지 클릭하면 랜딩페이지로 이동합니다 👆

✨ 개요

🥇 SSAFY 12기 특화 PJT 1등 🥇 | 🥈영상 포트폴리오 2등 🥈 | 🍕 SUPER APP 참여 🍕

서비스명 : 꼼대 ( 꼼꼼하게 대신 점검해드립니다 )

한줄 설명 : AI 모델을 활용한 장비 상태 관리 서비스

도메인 : 영상 AI

팀원 : FE 2명 / BE 2명 / AI 2명

프로젝트 기간 : 2025.03.03 ~ 2025.04.11

✨ 목차

1. 주요 기능
2. 주요 기능별 화면 (유저 / 관리자)
3. 기술적 특징
4. 기술 스택
5. 프로젝트 진행 및 산출물
6. 개발 멤버 및 회고
7. 메뉴얼 및 상세문서

✨ 주요 기능

서비스 설명

• SSAFY에서 대여하는 노트북을 체계적으로 관리할 수 있는 서비스입니다.
• 노트북 수령 및 반납시 필요한 수령확인서 작성 절차를 앱 하나로 간편화했습니다.
• AI가 외관 결함을 자동으로 탐지하며 기기성능을 점검하는 기능도 제공합니다.

주요 기능

1. 외관 결함 자동 탐지

• YOLOv8, Faster R-CNN 기반 모델로 노트북 외관 6개 부위 자동 촬영 및 흠집 탐지
• 사용자 환경에 맞춘 데이터 파인튜닝 및 오탐 제거 전략 적용

2. 하드웨어 성능 자가점검

• 자체 제작 점검 프로그램을 통해 USB, 키보드, 충전기, 배터리 등 기능 점검
• 앱-프로그램 간 랜덤 코드 연동을 통한 결과 자동 전송

3. OCR 기반 시리얼·바코드 인식

• Google Vision OCR API 사용
• 카메라 촬영만으로 시리얼 번호 및 바코드 자동 인식 및 입력

4. PDF 자동 생성 및 제출

• 외관 이미지, 탐지 결과, 점검 결과, 서약서 포함 문서 자동 생성
• 앱에서 버튼 클릭만으로 관리자 서버에 제출

5. 관리자 웹을 통한 장비 통합 관리

• 장비별·교육생별 이력 조회 및 제출 상태 확인
• 미제출자 대상 알림 전송 기능 포함

💻 주요 기능별 화면 (유저)

👉 유저 서비스 화면 바로가기

1. AI 를 활용한 외관 촬영

• 노트북 6개 부위(상판, 하판, 좌측면, 우측면, 모니터, 키보드)를 순서대로 촬영합니다.
• 화면 가이드를 따라 노트북을 맞추면 자동으로 사진이 촬영됩니다.
• 촬영 후 이미지를 확인하고, 재촬영 또는 다음 단계로 이동할 수 있습니다.
• 앱이 중간에 종료되더라도 마지막 진행 단계부터 이어서 촬영이 가능합니다.
• 각 단계별로 촬영 가이드가 함께 제공됩니다.

2. 하드웨어 성능 자가점검

• 관리자 조언을 바탕으로 제작된 성능 점검 프로그램을 통해 교육생이 직접 노트북 점검을 진행합니다.
• 앱에 표시된 랜덤 코드를 점검 프로그램에 입력하면 테스트가 시작되고, 결과는 자동으로 앱에 연동됩니다.
• 교육생이 자가 점검을 수행함으로써 관리자 업무 부담을 줄이고, 점검 효율을 높였습니다.

3. PDF 생성 및 간편 제출

• 외관 이미지, AI 분석 결과, 노트북 정보, 서약서 등 모든 정보를 하나의 PDF로 자동 정리합니다.
• 제출 버튼 한 번으로 관리자 웹에 문서가 전송되어, 간편하게 점검 결과를 제출할 수 있습니다.

🔧 주요 기능별 화면 (관리자)

👉 관리자 서비스 화면 바로가기 🔗

1. 관리자 서버에서 모든 기기 간편 관리

• 기기별·교육생별 이력을 한눈에 확인할 수 있어, 지속적이고 체계적인 장비 관리가 가능합니다.
• 노트북 점검 이력, 제출 상태, 성능 점검 결과 등을 통합적으로 관리할 수 있습니다.

✨ 기술적 특징

1. 흠집 탐지 AI 개발

• Faster R-CNN 기반 모델 적용
  • 기존 YOLO 모델에서 Faster R-CNN으로 전환하여 작은 흠집 탐지 성능을 향상
• 약 2,800장의 데이터셋 구축
  • 일반 노트북 이미지 2,000장과 사용자 환경에 적합한 추가 이미지 800장을 수집하여 데이터셋을 구성
  • Bounding Box로 라벨링
• SSAFY 노트북에 최적화된 파인튜닝
  • 일반 모델을 학습한 뒤, SSAFY 노트북 데이터로 파인튜닝을 진행해 실제 사용 환경에 맞는 성능을 확보
• 레이어 고정을 통한 오탐·미탐 감소
  • 학습 시 일부 레이어를 고정함으로써 모델의 일반화 성능을 유지하고 오류 탐지를 최소화

2. 노트북 탐지 모델 개발

• YOLO 기반 노트북 탐지 모델 구축
  • 외부 배경까지 탐지하던 기존 문제를 해결하기 위해, 노트북 자체를 인식하는 전용 탐지 모델을 별도로 개발
• 배경 필터링을 통한 정확도 향상
  • 모델이 노트북 외 영역을 오탐하지 않도록 배경 정보를 효과적으로 제거하였습니다.

3. 자동 촬영 AI 경량화

• 사용자 촬영 품질 기준을 AI가 자동 판단
  • 흔들림 없이 선명하고, 일정한 각도와 조도를 만족할 때만 자동 촬영되도록 구현
• 모바일 실시간 처리를 위한 모델 경량화
  • YOLO 모델을 TFLite로 변환하여 온디바이스 환경에서도 빠르고 정확한 실시간 처리가 가능하도록 최적화

📚 기술 스택

Backend

Frontend

AI

Infra

Project Management & DevOps

✨ 프로젝트 진행 및 산출물

• 화면 설계서
• 서비스 아키텍쳐
• API 명세서
• ERD
• GIT
• 이슈관리
• 

👨‍👩‍👧‍👦 개발 멤버 및 역할분담

정유진	김성수	김정언
팀장 & 흠집 탐지 AI 개발	Backend	자동촬영, 노트북 탐지 AI 개발
도승국	이상혁	이송희
Infra & Backend & 자가점검 프로그램	Frontend	Frontend

📒 메뉴얼 및 상세 문서

• 서비스 화면
• 포팅메뉴얼
• 외부 서비스 정리 문서
• API 가이드
• 프로젝트 산출물
• Git