💁 음성인식 주문 챗봇

키오스크 사용의 불편함 해결 프로젝트

목차

1. 프로젝트 소개
2. 기술 스택
3. 주요 기능 소개
4. 시연 영상
5. 요약 및 소감

1. 프로젝트 소개

• 프로젝트명
  • 음성인식 주문 챗봇
• 프로젝트 주제 선정
  • LLM을 이용한 오더봇에 관심이 있어 관련 서비스를 찾아보던 중 키오스크가 주문 방식 및 조작의 어려움으로 인해 불편하다는 점을 인지하고 점원에게 주문하듯이 주문 가능한 '사람 같은 챗봇' 즉 말로 주문을 받고 답변을 들을 수 있으며 필요 시 레시피 기반 추천 기능이 있는 챗봇을 만들어 해결하고자 함
• 프로젝트 목표
  • 고객 응대부터 계산까지의 자연스럽고 정확한 주문 수행
• 구현 기능
  • LLM 튜닝 : Google Palm2 모델의 프롬프트 튜닝, 파인 튜닝을 통해 고객 맞춤 주문 서비스 구현
  • 음성 인식 및 합성 : Google STT, TTS API 사용하여 음성 인식 및 합성 가능
  • 보조 기능 : Streamlit, Cloud SQL, Gemini Pro Vision 사용하여 웹 서비스 구현
• 팀원 & 팀노션
  • 정지석, 임재용, 양한수
  • Notion
• 기간
  • 2024.01.02 ~ 2024.02.16

2. 기술 스택

• OS : windows 11
  
• Language : Python 3.9
  
• IDE : Visual Studio Code
  
• Back-End : Streamlit
  
• DB : Cloud SQL
  
• Data : Own Data
  

3. 주요 기능 소개

4. 시연 영상

• 참조 : readme 파일이라 음성이 없습니다.

• 일반 주문

• 취향 주문

5. 요약 및 소감

• 프롬프트 튜닝은 섬세한 작업이 필요하다.
• 컨텍스트를 잘 작성하면 파인 튜닝까지 가지 않고 유의미한 결과를 도출해 낼 수 있다.
• 음성인식 시 주변 소음 차단 기능이 필요하다.
• 서버와의 데이터 전송 속도 개선이 필요하다.
• 프로젝트는 기술 만으로는 이루어지지 않고 외적 역량(문제 해결 능력, 의사 소통 능력)도 중요하고 필요하다.