Repository navigation
Releases
Releases · emwstudio/VoxEMW
v1.9.0 数字人版
第六块积木:VRM 数字人
对着浏览器说话,二次元数字人用你自己的角色声音回答你——你说完,她 ≈1.3s 就开口。
亮点
- VRM 数字人:VRoid 形象(three.js + @pixiv/three-vrm,本地 vendor 免构建),星空为背景,胸上取景,T-pose 校正
- 服务端音素口型:wLipSync 算法的服务端复刻(MFCC → 余弦 ^100 归一),32ms 逐帧随音频事件下发,与 pacer 播出时刻对齐——绕开 Chrome「RTC 音频进不了 WebAudio」的坑,浏览器/iOS 表现一致
- 情绪表情:DeepSeek 按句情绪分类(开心/生气/委屈/惊讶),VRM 表情 + 头部微姿态跟随台词
- 口型幅度补偿:morph 超系数 ×1.7(封顶 1.8),兼容 VRoid / VRM 1.0 / 0.x 三种命名
- 微动作:眨眼、呼吸、注视游移、倾听点头、思考垂眼、说话随能量晃脑
- 人物蒸馏:河南妮儿——河南话说法表、话题工作流、招牌段子固定配合;参考音 + 逐字台词注册即克隆
加固与修复
- orchestrator 连管线带判活重试(修复「刷新/首点必连不上」的槽位释放竞态)
- 打断清队记日志;启动脚本 no_proxy 修复(系统代理导致本机 ws 握手 EOF)
- 星空收拢改有界锚点,不再越聊越缩成一团
- 排障位:
?debug=1口型角标、?mouth=固定口型、/rtc/pacer观测点
说明
- 音色素材(ref.wav/ref.txt)与 VRM 模型属个人材料不入库:换人设见 README「换人设 / 换形象」
- 测试:
.venv/bin/python -m pytest tests/ -v(37 项全绿)