KDT 해커톤 4회 식스센스 팀 S2S 프로젝트: 경증 청각장애인을 위한 듣기 평가 보조 서비스
- 경증 청각장애인을 위한 청취 보조 서비스
- 서비스설명 : 입력된 음성의 주파수를 변환한 음성, 텍스트와 비디오를 병행 제공한다. librosa로 입력된 음성에서 주파수를 변환한 음성을 반환한다. 또한 입력된 음성을 인식한 후 각각 wav2lip 모델과 Whisper API를 활용, 음성과 동기화된 입모양 영상과 텍스트를 생성해 반환한다.
- 가청 주파수 음역대 선택기능 제공
- 영상, 입모양, 자막 생성여부 선택기능 제공
- Librosa 라이브러리를 활용하여 기존 음성을 사용자의 가청 주파수 음역대로 변환
- Wav2Lip 모델을 통해 영상의 입모양 제공
- Whisper OpenAI를 통해 STT 서비스 제공
| 구분 | 내용 |
|---|---|
| 사용언어 | Python / HTML / CSS / JavaScript |
| 사용한 라이브러리 | Librosa / PyTorch |
| 개발도구 | VisualStudioCode / Jupyter / Google Colab |
| 데이터베이스 | MySQL |
)
