Skip to content

Blessian/JUJUbot

 
 

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

75 Commits
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

1 프로젝트 개요

  • 프로젝트 명
  • 프로젝트 목표

2 기대 효과 및 가치

  • 기술 스택
  • 사용된 프로그래밍 언어
  • 프레임워크 및 라이브러리

3 데이터베이스 및 서버 기술

  • 기능 설명
  • 주요 기능
  • 사용자 인터페이스
  • 시스템 아키텍처

4 개발 과정

  • 요구 사항 분석
  • 설계 단계
  • 구현 및 테스트

5 도전 과제 및 해결 방안

  • 개발 중 겪었던 문제점
  • 해결 과정 및 결과

6 성과 및 반응

  • 사용자 피드백
  • 성과 지표

📢 프로젝트 소개

주제 선정 이유

  • 인공지능 스피커를 활용한 활동이 유아의 표현언어 능력에 영향을 미침
  • 아동의 경우 더 적극적으로 인공지능 스피커와 상호작용하며, 인공지능 스피커 시장에서도 주요 타겟층으로 여겨짐
  • "시크릿 쥬쥬 셀카폰" 장난감이 판매중이지만 녹화된 음성을 계속 되풀이하는 한계가 있음
  • 아동들에게 좋아하는 캐릭터와 대화를 나누는 듯한 경험을 선사할 수 있음
  • 아동 AI교육 도구로써 사용할 수 있음
  • 아동 표현 언어 발달에 도움을 줄 수 있음

주요 기능

  • STT
    • 사용자로 부터 음성을 입력 받아 생성한 음성파일을 자연어 문자열로 변환
    • 자연어 문자열은 챗봇 및 감정분석에 활용하기 위해 활용
  • Chatbot
    • "치링치링 시크릿 쥬쥬"를 연기하는 챗봇
    • 해당 캐릭터의 설정을 그대로 연기
    • 어린이와의 대화에 알맞은 답변을 출력
  • Sentiment Analysis
    • "치링치링 시크릿 쥬쥬"의 답변에서 감성분석을 통해 감정 추출
    • 답변과 함께 상황에 알맞은 표정을 짓도록 함
  • WAV to Lipsync
    • "치링치링 시크릿 쥬쥬"의 입모양을 자연스럽게 바꿔주기 위함
  • Voice Cloning
    • "치링치링 시크릿 쥬쥬"의 목소리로 답변을 출력

사용 기술

Python Badge Openai Langchain Flask Badge ngrok Badge

Static Badge Static Badge Static Badge Static Badge

Tech Purpose
Openai GPT-4 API 프롬프트 튜닝을 통해 특정 캐릭터의 설정을 연기하고 사용자엑 절적한 대답을 하는 역할
Langchain LLM을 제어하고 대화내역을 기억하도록 하기 위해 사용
Flask 서비스에 필요한 수많은 서버들을 구축하고 통신하기 위해 사용
KoBERT 감성분석을 위해 사용
ngrok 고정 IP를 부여하기 위해 사용
VITS TTS를 위해 사용
RVC 목소리 변조를 위해 사용
Wav2Lip 입모양을 자연스럽게 생성하기 위해 사용



👥 팀원 소개 및 역할

[김우정]

  • 역할:

[김해니]

  • 역할:

[이승현] << Me!

  • 역할:

[정민교]

  • 역할:



📅 프로젝트 진행과정

일정관리

스크린샷 2023-10-04 012941

  • 간트차트 작성

데이터 소개

  • 데이터 출처 및 수집 방법:
  • 데이터 특성: 데이터의 종류, 형식, 크기 등
  • 데이터 전처리: 데이터를 모델 학습에 적합한 형태로 가공한 과정과 사용한 도구, 기술에 대한 설명

모델 선정과 구현

최종적으로 선택한 모델과 최종 선택한 이유, 모델의 구조와 구현 방법 설명


진행과정 (시행착오)

시간 순서에 따른 진행과정 나열, 발생한 어려움과 시행착오, 그리고 해결 방법에 대한 설명



📊 결과

최종 모델 성능과 결과 해석

모델의 성능 지표와 결과 해석


프로젝트에서 얻은 교훈과 인사이트

프로젝트를 통해 얻은 교훈과 향후 프로젝트에 적용할 인사이트



📝 향후 계획

자기평가

프로젝트에서 본인이 수행한 역할과 기술 습득 정도에 대한 자기평가


향후 계획

AI 기술에 대한 추가 학습 계획이나 심화 프로젝트에 대한 기획 소개



🔗 참고 자료

사용한 논문 및 자료

About

No description, website, or topics provided.

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages

  • Python 91.5%
  • CSS 4.0%
  • HTML 3.8%
  • Other 0.7%