Model weights v0.1 (real-data trained)
各情感通道解码器的真实公开数据训练权重(由 scripts/train_* 训练得到、可重训再生)。含真实公开数据训练成果,表情(FACS)通道暂无对应真实数据集、沿用 demo 权重一并归入。仓库本体不收录二进制权重(artifacts/ 仍 gitignore),此处作 Release 附件分享。对齐demo版本
权重清单
| 权重文件 | 方向 | 模型 | 数据集 | final loss |
|---|---|---|---|---|
text_affect_regressor.pt |
文本→(v,a) | 稳定哈希词袋 + 回归头 | EmoBank | 0.016 |
text_affect_regressor_st.pt |
文本→(v,a) | 冻结 all-MiniLM-L6-v2 (384d) 句向量 + MLP 头 | EmoBank(10062 句) | 0.0056 |
prosody_decoder.pt |
(v,a)→韵律 | MLP(音高 / 能量 / 过零率) | RAVDESS | 0.026 |
physiology_decoder.pt |
(v,a)→生理 | MLP(心率 / EDA / Temp) | WESAD | 0.024 |
expression_decoder.pt |
(v,a)→表情 FACS | AU 向量解码 | —(无真实数据集) | demo |
各通道说明
- 文本输入侧(词袋 vs 句向量):词袋版无语义泛化、跨域即失效(预测幅度被压在 ±0.12)。句向量版换冻结 MiniLM 只训 MLP 头,EmoBank 全量 10062 句上 loss
0.0156 → 0.0056(降 64%)、幅度 ±0.12 → ±0.6;跨域实测——口语「omg…best night」词袋错判负 / 句向量判对 (+0.52),商业体裁「revenue disappointing」词袋几无反应 / 句向量识别负 (−0.33),"furious" arousal+0.05 → +0.73。坐实「更广域靠语义表示而非堆数据量」。运行时置ZERO_TEXT_AFFECT_BACKEND=st启用句向量版。 - 韵律(RAVDESS):librosa 提取音高 / 能量 / 过零率,(v,a) → 韵律参数。
- 生理(WESAD):scipy R 波检测算心率 + EDA / Temp,(v,a) → 生理信号;
CompositeChannelDecoder可多通道叠加注入。 - 表情(FACS):(v,a) → AU 向量;暂无对应真实数据集,沿用 demo 权重(表情真实数据训练待补)。
用法
下载 .pt 放入仓库根目录 artifacts/(已 gitignore),各 load_* / scripts/*(如 demo_pipeline)自动加载;缺某通道则回退内置默认 / 占位,不影响其它通道。重新训练:scripts/train_*(数据集获取见 DATASETS.md)。更多见 README「快速开始」。