Repository navigation
Releases: amophi/SoundVisualizer
Release list
SoundVisualizer_v1.1
🎉 Sound Visualizer v1.1 Release
We are incredibly excited to announce the official release of Sound Visualizer v1.1!
Sound Visualizer is a real-time, hardware-accelerated audio visualization and AI sound analysis overlay engine. It captures your system's audio and translates it into stunning graphic overlays directly on your screen. Powered by WPF and featuring an integrated AI sound classifier using ONNX Runtime (YAMNet), it provides not only beautiful audio reactivity but also tactical awareness by detecting in-game audio events like gunshots, speech, and ambient sounds.
Whether you are a deaf/hard-of-hearing player seeking critical visual feedback for audio cues, a competitive gamer looking for an extra edge, or simply a music lover who wants a sleek desktop overlay, v1.1 delivers a premium, highly optimized experience.
🌟 What's New in v1.1
🤖 AI Sound Classification (Powered by YAMNet & ONNX)
- Real-time Audio Event Detection: Integrated an advanced AI sound classifier capable of detecting Speech, Gunshots, and Ambient Background noises.
- Visual Feedback: Each detected sound category now maps to specific UI color cues, providing critical accessibility for deaf/hard-of-hearing users and enhanced tactical awareness for gamers.
🔊 Advanced 7.1 Surround & "Picture Frame" Rendering
- Perfected 7.1 Visualization: The wave animations now flow strictly along the screen's rectangular edges without distortion.
- Sharp Corner Joints: Overhauled the rendering logic to maintain sharp 90-degree corners without rounded artifacts or geometry overlaps, retaining fluid and organic movement even at 120+ FPS.
- Hardware-Aware: Seamlessly detects and maps to 2.0 Stereo, 5.1, and 7.1 Surround setups.
⚡ Extreme Performance Optimization (Zero-Allocation)
- GC-Free Rendering: Completely optimized the high-FPS rendering loop to minimize per-frame memory allocations by caching UI objects and geometry path points.
- CPU/Memory Reduction: Throttled hotkey monitoring to reduce P/Invoke overhead and optimized HUD text updates to prevent redundant string processing, ensuring zero impact on your game's framerate.
🎨 Refined UI/UX & Real-time Overlay Editor
- Independent Opacity Controls: Finalized the "Intensity As Opacity" feature with dedicated maximum opacity sliders for all visualization modes (Wave, Pad, Circle, Outline). Users can now control fixed sizing and transparency limits independently without conflicts.
- Overlay Interaction Fixes: Resolved logic issues where dragging boundaries past the limit would invert or shrink the UI. The "Opacity Fixed Size" and "Wave Intensity" settings now properly clamp at 100%.
- Professional Polish: Standardized UI text elements, removed emojis for a cleaner look, and eliminated legacy external brand references to establish a neutral, professional aesthetic.
🎨 Visualization Modes
- 🌊 Wave Mode: Dynamic audio waveforms scaling by sound intensity.
- ⭕ Circle Ripple Mode: Circular EQ and ripples based on core radius and frequency.
- 🎛 Pad Mode: Spatial frequency spectrum mapped to 2.0 / 5.1 / 7.1 grids.
- 🔲 Outline Mode: Perimeter lighting waves rendered along the screen borders.
🌐 Localization & Accessibility
- 8 Languages Supported: Full support for English, Korean, Japanese, Chinese, Spanish, French, German, and Russian.
- On-the-fly Toggles: Use F2 (Sound Mode), F3 (Visualizer Mode), and F4 (Overlay Editor) to adjust settings seamlessly without minimizing full-screen applications.
🛠️ Installation Instructions
- Download
SoundVisualizer.zipfrom the assets below. - Extract the folder to your preferred location.
- Run
SoundVisualizer.exe(No installation required!). - Select your language and press Start to launch the overlay.
Enjoy a new dimension of sound! 🎶
v1.0
🎉 Sound Visualizer v1.0 Release
We are incredibly excited to announce the official release of Sound Visualizer v1.0!
Sound Visualizer is a real-time, hardware-accelerated audio visualization and AI sound analysis overlay engine. It captures your system's audio and translates it into stunning graphic overlays directly on your screen. Powered by WPF and featuring an integrated AI sound classifier using ONNX Runtime (YAMNet), it provides not only beautiful audio reactivity but also tactical awareness by detecting in-game audio events like gunshots, speech, and ambient sounds.
Whether you are a deaf/hard-of-hearing player seeking critical visual feedback for audio cues, a competitive gamer looking for an extra edge, or simply a music lover who wants a sleek desktop overlay, v1.0 delivers a premium, highly optimized experience.
🌟 What's New in v1.0
🤖 AI Sound Classification (Powered by YAMNet & ONNX)
- Real-time Audio Event Detection: Integrated an advanced AI sound classifier capable of detecting Speech, Gunshots, and Ambient Background noises.
- Visual Feedback: Each detected sound category now maps to specific UI color cues, providing critical accessibility for deaf/hard-of-hearing users and enhanced tactical awareness for gamers.
🔊 Advanced 7.1 Surround & "Picture Frame" Rendering
- Perfected 7.1 Visualization: The wave animations now flow strictly along the screen's rectangular edges without distortion.
- Sharp Corner Joints: Overhauled the rendering logic to maintain sharp 90-degree corners without rounded artifacts or geometry overlaps, retaining fluid and organic movement even at 120+ FPS.
- Hardware-Aware: Seamlessly detects and maps to 2.0 Stereo, 5.1, and 7.1 Surround setups.
⚡ Extreme Performance Optimization (Zero-Allocation)
- GC-Free Rendering: Completely optimized the high-FPS rendering loop to minimize per-frame memory allocations by caching UI objects and geometry path points.
- CPU/Memory Reduction: Throttled hotkey monitoring to reduce P/Invoke overhead and optimized HUD text updates to prevent redundant string processing, ensuring zero impact on your game's framerate.
🎨 Refined UI/UX & Real-time Overlay Editor
- Independent Opacity Controls: Finalized the "Intensity As Opacity" feature with dedicated maximum opacity sliders for all visualization modes (Wave, Pad, Circle, Outline). Users can now control fixed sizing and transparency limits independently without conflicts.
- Overlay Interaction Fixes: Resolved logic issues where dragging boundaries past the limit would invert or shrink the UI. The "Opacity Fixed Size" and "Wave Intensity" settings now properly clamp at 100%.
- Professional Polish: Standardized UI text elements, removed emojis for a cleaner look, and eliminated legacy external brand references to establish a neutral, professional aesthetic.
🎨 Visualization Modes
- 🌊 Wave Mode: Dynamic audio waveforms scaling by sound intensity.
- ⭕ Circle Ripple Mode: Circular EQ and ripples based on core radius and frequency.
- 🎛 Pad Mode: Spatial frequency spectrum mapped to 2.0 / 5.1 / 7.1 grids.
- 🔲 Outline Mode: Perimeter lighting waves rendered along the screen borders.
🌐 Localization & Accessibility
- 8 Languages Supported: Full support for English, Korean, Japanese, Chinese, Spanish, French, German, and Russian.
- On-the-fly Toggles: Use F2 (Sound Mode), F3 (Visualizer Mode), and F4 (Overlay Editor) to adjust settings seamlessly without minimizing full-screen applications.
🛠️ Installation Instructions
- Download
SoundVisualizer.zipfrom the assets below. - Extract the folder to your preferred location.
- Run
SoundVisualizer.exe(No installation required!). - Select your language and press Start to launch the overlay.
Enjoy a new dimension of sound! 🎶
v0.5
v0.4
v0.3
updated
- auto detect surround system
- color select
- russian translation
사용 설명서
- 꼭 아래 글들 읽은 후 진행 바랍니다!!!
- 아래 Assets에 있는 SoundVisualizer.zip 클릭
- 다운로드 후 해당 zip 파일 압축해제
- 압축해제된 폴더 내에 존재하는 SoundVizualizer.exe 실행
🎵 SoundVisualizer — 소리를 눈으로 보는 프로그램
영상을 볼 때 소리를 듣지 못한다는 것은 영상 정보의 절반을 잃는 것과 다르지 않습니다.
자막으로 대화 내용은 어느 정도 파악할 수 있지만, 사이렌 소리, 폭발음, 누군가 다가오는 발소리 등, 상황과 방향을 전달하는 소리는 자막만으로 온전히 느끼기 어렵습니다.
SoundVisualizer는 이런 부분에서 청각장애인 분들이 영상을 더 풍부하게 경험할 수 있도록 돕고 싶다는 마음에서 시작된 프로젝트입니다.
또한 나아가 이 프로젝트는 소리를 듣기 어려운 특정 환경(대중교통, 공공장소 등)에서도 게임 또는 영상을 생생하게 느끼고 싶거나, 소리에 대한 정보가 특히 중요한 상황일 때 누구나 활용할 수 있도록 유용한 기능들을 첨가한 범용 소프트웨어입니다.
SoundVisualizer는 컴퓨터에서 나오는 소리를 실시간으로 시각적인 파동으로 표현해 주는 프로그램입니다.
- 소리의 크기의 경우, 소리가 클수록 화면의 파동이 크게 출렁이고, 소리가 작아지면 잔잔해집니다.
- 소리의 방향의 경우, 영상 소스의 소리 출력 방향에 따라 해당 방향으로부터 화면 가장자리에 파동이 일어납니다.
- 또한 AI가 소리의 종류를 분석하여 다음 예와 같이 색상으로 구분해 줍니다.
색상은 사용자가 원하는 색상으로 변경 가능합니다.
⚪ 흰색 — 일반적인 환경음
🟡 노란색 — 사람 목소리
🔴 빨간색 — 위험한 소리 (사이렌, 경적, 폭발음 등)
📹 시연 영상
실제로 어떻게 동작하는지 아래 영상에서 확인해 보실 수 있습니다.
👉 https://youtube.com/playlist?list=PLIOLsJ1DKCrJ1RqO1GCVFVtxqnJTM75f1&si=VkFwBBh_D3PEGfWG
테스트 방법
테스트는 대면과 비대면 두 가지 방식으로 진행됩니다. 편하신 방법을 선택해 주세요.
👥 대면 테스트
저희가 직접 노트북을 들고 찾아가 프로그램을 함께 실행하며 설명해 드립니다.
별도로 준비하실 것은 없으며, 사용해 보신 후 느낌을 편하게 말씀해 주시면 됩니다.
💻 비대면 테스트
비대면 테스트는 아래 순서대로 따라해 주시면 됩니다.
- 해당 프로그램은 윈도우 전용입니다.
- 7.1 서라운드 사운드 장비 혹은 가상 7.1 서라운드 장비, 드라이버를 이미 사용하고 계신 경우 바로 3단계로 넘어가시길 바랍니다.
- 스테레오 모드의 작동을 원하신다면 바로 3단계로 넘어가주세요.
1단계. 가상 오디오 드라이버 설치
SoundVisualizer가 서라운드 사운드를 인식하려면 VB-Cable이라는 가상 오디오 드라이버가 필요합니다.
- 다음 링크에 접속합니다 👉 https://vb-audio.com/Cable/
- 페이지에서 Download 버튼을 클릭해 설치 파일을 받습니다
- 다운로드된 압축 파일을 풀고, 안에 있는 VBCABLE_Setup_x64.exe 를 우클릭 → 관리자 권한으로 실행 합니다
- Install Driver 버튼을 클릭하고 설치가 완료되면 컴퓨터를 재시작합니다
2단계. 가상 7.1채널 오디오 세팅
- Windows 작업표시줄 오른쪽 하단의 🔊 스피커 아이콘을 우클릭 → 소리 설정 열기
- 출력 장치를 CABLE Input (VB-Audio Virtual Cable) 으로 변경합니다.
- 소리 설정 하단에 위치한 고급 → 더 많은 소리 설정을 진입합니다.
- CABLE Input을 선택하고 구성을 누릅니다. 오디오 채널을 7.1 서라운드로 설정합니다.
3단계. 프로그램 실행
- 전달 받은 SoundVisualizer.exe 파일을 실행합니다.
- 설정 창에서 원하시는 설정을 완료한 뒤, 홈 화면에서 실행합니다. 도움말에 간단한 설명이 있습니다.
- 프로그램이 실행되면 화면에 오버레이가 나타납니다.
- 영상 또는 게임을 시작하면 소리에 맞춰 화면이 반응하는 것을 확인할 수 있습니다.
• F2 — 스테레오 / 5.1 채널 / 7.1채널 모드 전환 (자동으로 전환되니 굳이 건들지 마세요)
• F3 — 표현 전환 (파도 모드 / 패드 모드 / 원형 모드)
일반 사용자 분들께
가감없는 피드백이 가장 도움됩니다. 가차없이 불호인 부분 혹은 불필요하다 생각되는 부분을 말해주세요.
게임을 플레이하실 경우, 서라운드 사운드를 활용하는 게임을 플레이하셔야 프로그램의 장점을 활용할 수 있습니다. 예) PUBG, 발로란트 등
영상을 재생하실 경우, 현재 단계에서는 DRM 적용이 되지 않는 영상을 재생하시지 않으면 강제로 2채널(서라운드)화 됩니다. 팟플레이어 등의 외부 플레이어를 사용하여 재생하는 경우가 가장 효과적입니다.
질문이 있다면 언제든 김도환 개인 톡으로 보내주세요.
v0.2
updated 5.1
사용 설명서
- 꼭 아래 글들 읽은 후 진행 바랍니다!!!
- 아래 Assets에 있는 SoundVisualizer.zip 클릭
- 다운로드 후 해당 zip 파일 압축해제
- 압축해제된 폴더 내에 존재하는 SoundVizualizer.exe 실행
🎵 SoundVisualizer — 소리를 눈으로 보는 프로그램
영상을 볼 때 소리를 듣지 못한다는 것은 영상 정보의 절반을 잃는 것과 다르지 않습니다.
자막으로 대화 내용은 어느 정도 파악할 수 있지만, 사이렌 소리, 폭발음, 누군가 다가오는 발소리 등, 상황과 방향을 전달하는 소리는 자막만으로 온전히 느끼기 어렵습니다.
SoundVisualizer는 이런 부분에서 청각장애인 분들이 영상을 더 풍부하게 경험할 수 있도록 돕고 싶다는 마음에서 시작된 프로젝트입니다.
또한 나아가 이 프로젝트는 소리를 듣기 어려운 특정 환경(대중교통, 공공장소 등)에서도 게임 또는 영상을 생생하게 느끼고 싶거나, 소리에 대한 정보가 특히 중요한 상황일 때 누구나 활용할 수 있도록 유용한 기능들을 첨가한 범용 소프트웨어입니다.
SoundVisualizer는 컴퓨터에서 나오는 소리를 실시간으로 시각적인 파동으로 표현해 주는 프로그램입니다.
- 소리의 크기의 경우, 소리가 클수록 화면의 파동이 크게 출렁이고, 소리가 작아지면 잔잔해집니다.
- 소리의 방향의 경우, 영상 소스의 소리 출력 방향에 따라 해당 방향으로부터 화면 가장자리에 파동이 일어납니다.
- 또한 AI가 소리의 종류를 분석하여 다음 예와 같이 색상으로 구분해 줍니다.
색상은 사용자가 원하는 색상으로 변경 가능합니다.
⚪ 흰색 — 일반적인 환경음
🟡 노란색 — 사람 목소리
🔴 빨간색 — 위험한 소리 (사이렌, 경적, 폭발음 등)
📹 시연 영상
실제로 어떻게 동작하는지 아래 영상에서 확인해 보실 수 있습니다.
👉 https://youtube.com/playlist?list=PLIOLsJ1DKCrJ1RqO1GCVFVtxqnJTM75f1&si=VkFwBBh_D3PEGfWG
테스트 방법
테스트는 대면과 비대면 두 가지 방식으로 진행됩니다. 편하신 방법을 선택해 주세요.
👥 대면 테스트
저희가 직접 노트북을 들고 찾아가 프로그램을 함께 실행하며 설명해 드립니다.
별도로 준비하실 것은 없으며, 사용해 보신 후 느낌을 편하게 말씀해 주시면 됩니다.
💻 비대면 테스트
비대면 테스트는 아래 순서대로 따라해 주시면 됩니다.
- 해당 프로그램은 윈도우 전용입니다.
- 7.1 서라운드 사운드 장비 혹은 가상 7.1 서라운드 장비, 드라이버를 이미 사용하고 계신 경우 바로 3단계로 넘어가시길 바랍니다.
- 스테레오 모드의 작동을 원하신다면 바로 3단계로 넘어가 사운드 모드를 “스테레오”로 설정하시길 바랍니다.
1단계. 가상 오디오 드라이버 설치
SoundVisualizer가 서라운드 사운드를 인식하려면 VB-Cable이라는 가상 오디오 드라이버가 필요합니다.
- 다음 링크에 접속합니다 👉 https://vb-audio.com/Cable/
- 페이지에서 Download 버튼을 클릭해 설치 파일을 받습니다
- 다운로드된 압축 파일을 풀고, 안에 있는 VBCABLE_Setup_x64.exe 를 우클릭 → 관리자 권한으로 실행 합니다
- Install Driver 버튼을 클릭하고 설치가 완료되면 컴퓨터를 재시작합니다
2단계. 가상 7.1채널 오디오 세팅
- Windows 작업표시줄 오른쪽 하단의 🔊 스피커 아이콘을 우클릭 → 소리 설정 열기
- 출력 장치를 CABLE Input (VB-Audio Virtual Cable) 으로 변경합니다.
- 소리 설정 하단에 위치한 고급 → 더 많은 소리 설정을 진입합니다.
- CABLE Input을 선택하고 구성을 누릅니다. 오디오 채널을 7.1 서라운드로 설정합니다.
3단계. 프로그램 실행
- 전달 받은 SoundVisualizer.exe 파일을 실행합니다.
- 설정 창에서 원하시는 설정을 완료한 뒤, 홈 화면에서 실행합니다. 도움말에 간단한 설명이 있습니다.
- 프로그램이 실행되면 화면에 오버레이가 나타납니다.
- 영상 또는 게임을 시작하면 소리에 맞춰 화면이 반응하는 것을 확인할 수 있습니다.
• F2 — 스테레오 / 7.1채널 모드 전환
• F3 — 시각화 스타일 전환 (파도 모드 / 패드 모드)
일반 사용자 분들께
가감없는 피드백이 가장 도움됩니다. 가차없이 불호인 부분 혹은 불필요하다 생각되는 부분을 말해주세요.
게임을 플레이하실 경우, 서라운드 사운드를 활용하는 게임을 플레이하셔야 프로그램의 장점을 활용할 수 있습니다. 예) PUBG, 발로란트 등
영상을 재생하실 경우, 현재 단계에서는 DRM 적용이 되지 않는 영상을 재생하시지 않으면 강제로 2채널(서라운드)화 됩니다. 팟플레이어 등의 외부 플레이어를 사용하여 재생하는 경우가 가장 효과적입니다.
질문이 있다면 언제든 김도환 개인 톡으로 보내주세요.
v0.1
v0.1
unstable
What's Changed
- [feat] 사운드 코어 엔진 초기 구현 (WASAPI 캡처 안정화 / FFT / Latency 측정) by @s2ongj1nn in #1
New Contributors
- @s2ongj1nn made their first contribution in #1
Full Changelog: https://github.com/amophi/SoundVisualizer/commits/v0.1
