Skip to content

【外滩大会2026】化雨阁 —— 面向传统文化领域的语音转文字+AI纠错+质检闭环工作台 #141

Description

@Zijia369

参赛项目名称

化雨阁 —— 面向传统文化领域的语音转文字+AI纠错+质检闭环工作台

团队 / 作者

上海洞见星空数字科技/ Zijia369(王子嘉)

我做了什么

化雨阁=化语阁,意思就是如春风细雨般的转化难懂的语言。

众所周知,现在的语音转文字工具越来越多了,但是质量大部分很差。尤其是特殊领域中通用语音转文字工具(讯飞、剪映、Whisper)处理传统文化内容时,术语准确率很差。比如我做的传统文化相关的:"黄帝内经"被转成"皇帝内径","山海经"转成"三害星","膻中穴"转成"山中穴"。这些词不在通用模型词表里,一段转录直接废掉。以下针对不同的领域同样适用。

化雨阁做了四步设计:转录、AI纠错、人工审校、热词积累,越用越准。

第一步,双引擎转录。主力引擎是阿里开源的 FunASR paraformer-zh 模型,本地 CPU跑,零成本。备选引擎是百炼 Paraformer-v2 云端API,异步转录带时间戳。批量模式支持扫目录、逐个转录、自动纠错一条龙,处理过的自动跳过。

第二步,AI 语义纠错。ASR 粗稿出来以后,把全文、18 条纠错映射表、40 个领域核心术语一起交给 DeepSeek-chat,temperature 设到0.1,只改有把握的,不确定的保留原文。不是简单做关键词替换,靠上下文语义判断。

第三步,人工审校。这里和"调个 API 就完事"最大的区别。AI纠错完的文本用三种颜色标出来:红色删除线是原文被改掉的词,黄色是 AI建议的修正等人来确认,绿色是人工已经确认通过的。左边播视频,右边文字跟随高亮,播到哪句哪句自动滚动,反过来点文字也能跳视频。每个修改项单独一行,可以点确认也可以撤销。

第四步,热词管理。目前挂了 122条加权领域热词(持续增加中),覆盖中医穴位、古代典籍、传统哲学术语、神话人物名。人工审校时确认过的修正词自动候选加入热词表,下次转录直接生效,不需要手动维护。还能一键同步到百炼云端。

输出结果支持导出 txt、md、srt、docx 四种格式,可以批量打包下载,中间文件自动清理。

百炼用到了三处:Paraformer-v2 语音识别、Phrase Manager 热词管理、OSS 文件上传中转。

技术栈:Python、Streamlit、百炼 Paraformer-v2、Phrase Manager、FunASR、DeepSeek-chat、阿里云 OSS。

使用的工具

  • 百炼能力 / 模型:Paraformer-v2(异步语音识别+时间戳提取)、Phrase Manager(热词云端同步管理)
  • 其他:FunASR 本地引擎、DeepSeek-chat 语义纠错、阿里云 OSS 文件中转

效果展示

转录页:选择音视频文件上传,切换百炼或 FunASR 引擎,勾选热词和自动纠错,点开始转录即可。支持单文

转录页

质检审校页:左边播视频,右边是 AI 纠错后的文本,三种颜色标注——红色删除线是原文被改掉的词,黄色是 AI建议的修正等人来确认,绿色是人工已确认通过。播放时文字自动跟随高亮滚动,点击文字段落视频直接跳转到对应时间点。下方有修改清单,每个修改项可以单独点确认或撤销。确认过的修正词自动候选加入热词表。

质检审校页

热词管理页:122 条加权领域热词,覆盖中医穴位、古代典籍、传统哲学术语、神话人物名。支持搜索、批量导入、权重编辑。人工审校确认的修正词自动出现在"建议添加热词"候选列表,勾选即可加入。一键同步到百炼云端热词表(Phrase Manager API)。

热词管理页

输出导出页:转录完成的文件列表,支持预览内容、导出为 txt、md、srt、docx 四种格式、批量打包下载ZIP。点击"保存审核版"后中间文件自动清理,只保留终稿。

输出导出页

踩坑记录

百炼 API 和 OSS 上传在 macOS 系统代理环境下会报 BrokenPipe 错误,因为系统代理会拦截阿里云 SDK的请求。解决方案:脚本启动前执行 unset http_proxy https_proxy 清除代理变量,不影响浏览器正常使用VPN。

Metadata

Metadata

Assignees

No one assigned

    Labels

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions