실시간 다국어 음성 처리 · 다국어 언어감지(LID) · 생성형 AI

기업부설연구소에서 음성인식(STT) 분야의 연구개발을 담당하고 있으며, 실시간 다국어 STT와 다국어 언어감지(LID) 를 메인으로 연구하고 있습니다. 부가적으로 생성형 AI 챗봇 / RAG 시스템의 설계와 구축, 운영까지 경험했습니다.

• 🎙️ Speech — Selvy STT(상용) · Faster Whisper(CTranslate2 변환 실시간 모델) · Cloud STT(ElevenLabs, Google STT) 기반 실시간 다국어 STT 시스템 구축·운영
• 🌐 LID — ECAPA-TDNN 기반 7개 언어 감지 모듈 개발 (영어 / 일본어 / 중국어 / 러시아어 / 태국어 / 인도네시아어 / 베트남어) 및 LID 모델 자체 파인튜닝 경험
• 🤖 Generative AI — 사용자 질문 의도 분류 → RAG 답변 / sLLM(Gemma3:12b, Ollama) 분기 로직 기반 QnA 챗봇 설계·구축

• 🚀 다국어 STT 고도화 — 도메인 환경에서의 인식 정확도 / 실시간 지연시간 / 언어 전환 안정성 개선
• 🎤 WavLM 기반 화자인식 — 도메인 음성 데이터로 파인튜닝한 WavLM을 활용하여 화자 분리·식별 정밀도 향상
• 🧠 Cumulative LID 아키텍처 설계 및 개발 — ECAPA-TDNN 임베딩 기반 누적 언어식별 구조 설계 (단일 세그먼트 LID의 불안정성을 보완하기 위해 화자·채널 단위 프로파일과 시간 가중 누적 히스토리를 결합)

실제 콜센터 현장에 다국어 실시간 STT 시스템을 도입하여 구축 → 운영 → 고도화까지 전 과정을 담당했습니다.

• 🇰🇷 외교부 영사콜센터 — 한국어 / 영어 실시간 STT 시스템 도입 및 구축, 운영
  • Selvy STT(상용 S/W) + Faster Whisper(Self-hosted) 하이브리드 파이프라인
  • VAD → STT → LID → 코드스위칭 화면 출력까지 end-to-end 운영
• 🧭 한국관광공사 1330 관광안내콜센터 — 8개 언어(한국어 / 영어 / 일본어 / 중국어 / 러시아어 / 태국어 / 인도네시아어 / 베트남어) 실시간 STT 시스템 도입 및 구축, 운영
  • Selvy STT(상용 S/W) or Faster Whisper(Self-hosted) + Cloud STT(ElevenLabs / Google STT) 하이브리드 파이프라인
  • 통역사 중계 통화(상담원 / 통역사 / 외국인 화자 동시 처리) 환경 대응
  • 실시간 화자/언어 감지 + 누적 LID 기반 안정적 다국어 STT 전사
• 🤗 Hugging Face 모델 파인튜닝 및 운영 적용
  • 콜센터 도메인 음성 데이터를 활용해 Whisper / WavLM / ECAPA-TDNN 등 사전학습 모델을 파인튜닝
  • 학습 → 평가(EER 등) → 변환(CTranslate2) → 실시간 추론 서버 배포까지 일괄 진행

Languages & Frameworks

Speech / ML

Cloud STT / Generative AI

Audio / Data / Frontend

Build / Ops