악기 연주자들을 위한 음계 인식 애플리케이션 (ChordTracker for Instrument Players)

문제 상황

1. 기존의 음계 인식 애플리케이션은 정확성이 떨어짐
2. 특정 장비의 가격이 다소 고가이고, 사용 범위가 한정적임 (특정 회사의 악기만 인식 가능)

구현 계획

1. 스마트폰 마이크 인식 기능 구현
2. 녹음된 음성 파일 스마트폰 저장소에 저장
3. 녹음한 소리로부터 일치하는 음계를 화면에 출력
4. 도출된 음계를 악보로 활용할 수 있도록 디자인
5. 클라우드에 저장할 수 있도록 업로드 기능 구현

사용 효과

1. 표현된 음계를 통해 작곡 등에 활용함
2. 대중가요를 copy하여 악기를 연습할 수 있도록 함
3. 악기를 조율하는 데 활용할 수 있음

사용자 요구사항

1. 소리 인식이 잘 되어야 함
2. 도출된 음계를 텍스트화 하여 악보로 활용 가능해야 함
3. PC 환경이 익숙한 사용자들을 위해 클라우드 등에 저장할 수 있어야 함

시스템 요구사항

1. 단시간 푸리에 변환 알고리즘 사용(STFT) - FFT를 사용하는 다른 라이브러리보다 비교적 명확한 그래프가 나오는 TarsosDSP 라이브러리 사용
2. 도출된 음계를 활용하여 악보를 디자인 할 수 있도록 구현함
3. Google Drive API 사용 (클라우드 업로드)

상용화된 비슷한 앱과 비교한 개선점

1. 연속적인 음의 처리가 가능하도록 함
2. 별도의 장치 없이 스마트폰만 활용하여 금전적 부담이 없도록 함

개선할 점

1. 악보 디자인 개선
2. Drive 업로드 기능 마무리
3. 잡음 개선 코드 추가

과정

1. STFT

---

2. Pitch Detecting

---

3. 결과