ASMR Dubber:为日语/英语音视频制作中文配音、字幕和双语音频 #2835
EveningStudy
started this conversation in
Show and tell
Replies: 0 comments
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Uh oh!
There was an error while loading. Please reload this page.
ASMR Dubber 是 Whisper 生态中的一个完整应用:用 Whisper 系列后端识别音视频,再继续完成字幕校对、中文翻译、配音、混音和字幕导出。
项目地址:https://github.com/EveningStudy/asmr-dubber
B站介绍与效果演示:https://www.bilibili.com/video/BV1f43G6YEov
自荐一个最近在做的开源工具 ASMR Dubber。
它主要用来处理日语、英语音频和视频。可以先进行语音识别或者导入已有字幕/台本,再翻译成中文,最后生成中文字幕、中文配音或者双语音频。
和普通字幕工具相比,我比较想解决的听同人音声的时候“听不懂原音声”的问题:程序会保留原声,再按照原来的时间轴把中文配音混入进去。这样既可以继续听原本的声音、语气和环境音,也能直接听懂内容。我觉得效果还是挺好的。
配音支持 IndexTTS2、GPT-SoVITS、CosyVoice、Fish Speech / Fish Audio、Edge TTS 等本地或云端方案,可以根据使用的模型进行音色克隆;语音识别支持 Parakeet、Kotoba-Whisper、Faster-Whisper 和通用 ASR API;翻译可以接入 DeepSeek、OpenAI、Claude、Gemini、DeepL 等服务。
目前还支持:
README 中也放了实际效果演示。
如果平时会处理日语/英语音声、字幕或者配音,可以试试看。项目目前还在继续完善,也欢迎 Issue、反馈和 PR。
All reactions