소음 속 음성인식 정확도 개선 방법

[jujuwon]

시끄러운 굴착기 환경 속에서 음성 인식을 정확하게 할 수 있도록 구현 방법을 구체화합니다.

[KDW03]

STT 성능 향상 논문

https://www.dbpia.co.kr/pdf/pdfView.do?nodeId=NODE11134114

노이즈 캔슬링

https://www.dbpia.co.kr/pdf/pdfView.do?nodeId=NODE10492662

관련 논문을 간단하게 찾아봤습니다.
구현 및 적용 가능할지 생각해주시면 될 것 같습니다.
그리고 괜찮은 논문이나 아이디어가 있다면 찾아서 알려주시면 좋겠습니다.

[ParkJeongmiin]

소음환경을 고려한 학습기법 기반 음성 키워드 검출 시스템의 설계 및 구현

https://www-dbpia-co-kr.libproxy.changwon.ac.kr/journal/articleDetail?nodeId=NODE11048139

소음 환경의 데이터를 학습하여 인식률을 증가시키는 방법을 찾아보았습니다.

[Moon-janggon]

스마트 워치 와 연동
https://developer.android.com/training/wearables/apps/creating?hl=ko

사용 환경에서 휴대폰과의 거리가 멀다면 워치를 통해 음성을 전달하는 방법도 있음을 생각해 보았습니다.

[KDW03]

소음환경을 고려한 학습기법 기반 음성 키워드 검출 시스템의 설계 및 구현

https://www-dbpia-co-kr.libproxy.changwon.ac.kr/journal/articleDetail?nodeId=NODE11048139

소음 환경의 데이터를 학습하여 인식률을 증가시키는 방법을 찾아보았습니다.

현재 상황에서 구현 및 적용 가능할지도 조사해서 애기 해주세요

[ParkJeongmiin]

소음 제거에 대한 라이브러리 방법을 제시합니다.

1. RTNR 라이브러리 이용

• repositories에 maven { url 'https://jitpack.io' } 추가 필요
• implementation 'com.github.JaeBinCHA7:RTNR:Tag 필요
• RTNR Class(rtNoiseReducer) 선언
• audioSE()에 오디오 파일 입력

RTNR 라이브러리 GitHub

외부 라이브러리에 대한 사용 가능 여부에 대해 확인 필요.
Import 후, 성능과 적용 가능성에 대해 다시 코멘트 남기겠습니다.

[usersiyang]

확인 완료했습니다. 버전 V2.0.0 버전으로 라이브러리 반영해서 빌드 확인 완료했습니다.

implementation 'com.github.JaeBinCHA7:RTNR:V2.0.0'

@KDW03 빌드스크립트에 반영해서 풀리퀘스트 드리겠습니다~

[ParkJeongmiin]

1. res/raw 폴더에 wav 파일 추가해서 성능 테스트

• wav 파일을 RTNR 라이브러리에 나와있는 방법과 동일하게 처리
• ByteArray로 변환된 음성 데이터를 다시 소리으로 내보내는 방법을 찾는 중

소음환경 음성 데이터셋

[ParkJeongmiin]

RTNR 라이브러리에 데이터 처리된 ByteArray를 음성으로 변환하는 함수가 없어 새로운 라이브러리를 찾아보았습니다.

1. 안드로이드 NoiseSuppressor(NS) 클래스 제안

• noiseSuppressor 생성 후, audioRecord에 연결
• audioRecord를 이용해 오디오 데이터 캡처
• Speech Recognizer에 전달하여 음성 인식

NoiseSuppressor Document