Skip to content

Model weights v0.1 (real-data trained)

Choose a tag to compare

@WizardHeHeJun WizardHeHeJun released this 24 Jun 10:44
a8bfbba

各情感通道解码器的真实公开数据训练权重(由 scripts/train_* 训练得到、可重训再生)。含真实公开数据训练成果,表情(FACS)通道暂无对应真实数据集、沿用 demo 权重一并归入。仓库本体不收录二进制权重(artifacts/ 仍 gitignore),此处作 Release 附件分享。对齐demo版本

权重清单

权重文件 方向 模型 数据集 final loss
text_affect_regressor.pt 文本→(v,a) 稳定哈希词袋 + 回归头 EmoBank 0.016
text_affect_regressor_st.pt 文本→(v,a) 冻结 all-MiniLM-L6-v2 (384d) 句向量 + MLP 头 EmoBank(10062 句) 0.0056
prosody_decoder.pt (v,a)→韵律 MLP(音高 / 能量 / 过零率) RAVDESS 0.026
physiology_decoder.pt (v,a)→生理 MLP(心率 / EDA / Temp) WESAD 0.024
expression_decoder.pt (v,a)→表情 FACS AU 向量解码 —(无真实数据集) demo

各通道说明

  • 文本输入侧(词袋 vs 句向量):词袋版无语义泛化、跨域即失效(预测幅度被压在 ±0.12)。句向量版换冻结 MiniLM 只训 MLP 头,EmoBank 全量 10062 句上 loss 0.0156 → 0.0056降 64%)、幅度 ±0.12 → ±0.6;跨域实测——口语「omg…best night」词袋错判负 / 句向量判对 (+0.52),商业体裁「revenue disappointing」词袋几无反应 / 句向量识别负 (−0.33),"furious" arousal +0.05 → +0.73。坐实「更广域靠语义表示而非堆数据量」。运行时置 ZERO_TEXT_AFFECT_BACKEND=st 启用句向量版。
  • 韵律(RAVDESS):librosa 提取音高 / 能量 / 过零率,(v,a) → 韵律参数。
  • 生理(WESAD):scipy R 波检测算心率 + EDA / Temp,(v,a) → 生理信号;CompositeChannelDecoder 可多通道叠加注入。
  • 表情(FACS):(v,a) → AU 向量;暂无对应真实数据集,沿用 demo 权重(表情真实数据训练待补)。

用法

下载 .pt 放入仓库根目录 artifacts/(已 gitignore),各 load_* / scripts/*(如 demo_pipeline)自动加载;缺某通道则回退内置默认 / 占位,不影响其它通道。重新训练:scripts/train_*(数据集获取见 DATASETS.md)。更多见 README「快速开始」