👁️ VODA

AI 기반 무인 매장 이상행동 탐지 및 실시간 소통 솔루션

“보이지 않는 곳을 보다, 오해를 넘어 소통으로.”
AI 오탐을 실시간 소통으로 해결하는 무인 매장 솔루션

---

🚀 MVP 기능

1. 이상행동 감지 및 실시간 소통 (Detection & Communication)

AI가 절도 등 이상 행동을 감지하면 점주에게 즉시 알림을 보내고, WebRTC 화상 통화를 통해 오해를 해소합니다.

1. 이상행동 감지	2. 실시간 화상 소통	3. 이상행동 클립 확인
고객의 이상행동을 AI가 실시간 포착 및 알림발송	즉시 연결하여 상황 확인 및 대화 시도	점주 앱으로 해당 클립과 확인 가능

2. 결제 누락 방지 (Payment Verification)

결제하려는 상품과 실제 들고 있는 상품이 다를 경우, AI가 이를 탐지하여 결제를 막고 고객에게 안내합니다.

상품 불일치 알림	상품 일치 알림
"잠시만요!" 인식된 상품과 내역이 다름을 알림	정상적으로 상품이 확인되어 결제 프로세스 진행

---

📱 User Flow Detail

📞 양방향 호출 프로세스

점주는 언제 어디서든 매장 상황을 확인하고 고객 응대가 가능합니다.

고객 호출 요청	점주 수신 화면	부재중 안내

🛡️ 점주(관리자) 모드

이벤트 로그 조회	CCTV CAM 조회	키오스크 CAM 조회

---

🤖 AI Technology (YOLOv8 + TSM)

실시간 객체 탐지(YOLOv8)와 시계열 행동 인식(TSM)을 결합하여 정확도를 높였습니다.

Input (Kiosk Cam)	Output (AI Detection)

---

🛠 기술 스택 (Tech Stack)

Architecture

Detail

분류	기술 스택	비고
Frontend	React 19, Vite, Zustand, TanStack Query	Kiosk / Owner App
Backend	Spring Boot 3.5, Spring Security, JPA	REST API
AI	FastAPI, PyTorch, YOLOv8, TSM	상품 인식 / 행동 인식
Database	PostgreSQL 15, Redis	Main DB / Cache
Infra	AWS EC2·S3·CloudFront, Docker, OpenVidu	배포 / 실시간 스트리밍

---

🤖 AI 기술 개요

※ 본 README에서는 전체 구현 중 핵심 개념만을 설명합니다.

• YOLOv8n

  • 실시간 처리를 위한 경량 객체 탐지
  • 사람 및 상품 영역 인식

• TSM (Temporal Shift Module)

  • 다중 프레임 기반 행동 인식
  • 단일 프레임 오탐 감소

• Voting / Threshold 전략

  • 다수 추론 결과 기반 판단
  • 신뢰도 기준 충족 시에만 이벤트 발생

---

📂 프로젝트 구조

S14P11E105/
├── BE/                 # Spring Boot Backend Server
├── FE/
│   ├── Kiosk/          # 매장 내 키오스크 React App
│   └── Owner/          # 점주 관리자 React App
├── AI/                 # AI 분석 서버 (FastAPI)
├── docker-compose.yml  # 서비스 오케스트레이션
└── exec/               # 포팅 매뉴얼 및 산출물


## 빠른 시작

### Docker Compose로 실행

```bash
# 환경 변수 설정
cp .env.example .env
# .env 파일 수정

# 전체 서비스 실행
docker-compose up -d

접속 정보

서비스	URL
키오스크	http://localhost:3000
점주 앱	http://localhost:3001
백엔드 API	http://localhost:8080

테스트 계정

• 이메일: test@ssafy.com
• 비밀번호: ssafy123!

상세 문서

각 파트별 상세 내용은 하위 폴더의 README를 참고하세요.

문서	경로
백엔드	BE/README.md
프론트엔드	FE/README.md
AI 서버	AI/README.md
포팅 매뉴얼	exec/

포팅 매뉴얼

exec/ 폴더에 배포 및 운영에 필요한 문서가 있습니다.

• 빌드 및 배포 매뉴얼
• 외부 서비스 정보
• DB 덤프 및 ERD
• 시연 시나리오

팀 E105

SSAFY 14기 공통 프로젝트

이름	역할	담당
임경수	팀장	총괄, Frontend
김응서	팀원	Backend👑, Frontend, 문서 관리
박미영	팀원	UI/UX👑, Frontend, 발표
박서린	팀원	Frontend👑, 영상 제작
장주윤	팀원	Infra👑, Backend
조현우	팀원	AI👑, Backend