Frontend Wiki

🧭 Project for Deadlock

이 문서는 프로젝트의 기술 스택, 모델 선정 기준, 그리고 MVP 구현 전략을 기록하고 공유하기 위한 위키입니다.
모든 변경 사항은 문서화 및 날짜 기록을 원칙으로 합니다.

📌 1. 프로젝트 개요

🎯 1-1 목적

• 음성 인식(STT) 기반의 대화형 AI 학습 경험 제공
• 최신 LLM을 활용한 정밀한 문제 채점 및 논리적 피드백 시스템 구축
• 저비용·고효율 아키텍처를 통한 지속 가능한 서비스 운영 모델 검증

👥 1-2 대상 사용자

• 주요 사용자: CS 면접을 준비하는 예비 개발자, 수학적 추론 능력을 기르고 싶은 학습자
• 보조 사용자: AI 에이전트 성능 측정 및 벤치마킹을 수행하는 연구자

⚙️ 1-3 주요 기능

• 실시간 음성 인터렉션 기반 질의응답
• 난이도별 CS 개념 설명 및 맞춤형 모의 면접
• 수학적 추론 에이전트를 통한 문제 풀이 지원

---

🧑‍💻 2. 기술 스택 (AI & Models)

🧩 2-1 STT (Speech-to-Text) 모델

구분	모델명	특징	WER (오차율)
유료	Google Cloud STT	매월 60분 무료, 글로벌 언어 최적화	-
유료	Naver CLOVA	한국어 인식 독보적 성능, 도메인 최적화	-
무료	OpenAI Whisper	한국어 지원, 오픈소스 표준 모델	10.32
무료	Nvidia Canary	현존 오픈소스 최고 정확도 (영어 위주)	5.63

🧩 2-2 LLM (Large Language Model) 모델

구분	모델명	주요 용도	비고
유료	GPT-4o-mini	일반 문제 채점, 간단한 텍스트 피드백	가성비 우수
유료	DeepSeek-V3	복잡한 CS 개념 설명, 모의면접 로직	추론 성능 특화
무료	Gemini 1.5 Flash	MVP 핵심 엔진, 고속 피드백 생성	15 RPM 무료

🧩 2-3 스택 선정 이유

• Gemini 1.5 Flash (LLM)
  • MVP 단계에서 가장 중요한 '응답 속도'와 '비용 절감'을 동시에 충족한다.
  • 분당 15회 호출 및 100만 토큰의 무료 티어는 초기 프로토타입 검증에 최적의 환경을 제공한다.
• Groq Whisper (STT)
  • 일반적인 API 대비 비약적으로 빠른 LPU 기반 가속을 지원하여, 사용자에게 실시간에 가까운 대화 경험을 제공하기 위해 선택했다.
• Nvidia Canary & OpenAI Whisper (STT)
  • WER(단어 오차율) 지표를 기준으로 정확도 중심의 Canary와 범용성 중심의 Whisper를 비교 분석하여, 향후 서비스 확장 시 정밀도를 보장하기 위해 리스트업했다.

---

🚀 3. MVP 구현 전략

🏗️ 3-1 핵심 로직 구성

• STT: ETRI API 및 Groq Whisper(무료 티어)를 활용하여 지연 시간(Latency) 최소화.
• LLM: Gemini 1.5 Flash를 메인 엔진으로 채택하여 핵심 비즈니스 로직 구현.
• Data: 초기 데이터셋은 MathVista Benchmark 등을 활용하여 에이전트의 성능을 객관적으로 검증.

---

🗂️ 4. 참고 자료

공식 문서 및 벤치마크

• OpenAI Whisper Docs
• Gemini API Documentation
• NVIDIA NeMo Canary Info
• ETRI AI API Service

✨ 사용 팁 및 규칙

• 모든 모델 선정 기준과 성능 지표(WER 등)는 반드시 문서화합니다.
• 새로운 모델 벤치마크 결과 반영 시 날짜와 테스트 환경을 기록하세요.
• API Key 관리 및 보안 수칙을 준수하며, 무료 티어 할당량 모니터링을 원칙으로 합니다.