Home

Fed-MSA Wiki

面向模态缺失的联邦学习多模态情感分析系统。

系统简介

Fed-MSA 基于 CMU-MOSEI 数据集，使用 Transformer 架构 + 联邦学习，支持文本/音频/视频三模态情感预测。系统包含完整的训练管理和模型推理功能。

核心特性

• 三模态融合: 音频 (74维 COVAREP) + 视频 (35维 OpenFace) + 文本 (300维 GloVe)
• 联邦学习: FedAvg / FedProx / SCAFFOLD / Adaptive 四种聚合策略
• 缺失模态处理: Embedding / Reconstruct / Generative 三种互补方案
• Non-IID 模拟: Dirichlet 分布连续可调
• 实时监控: SSE 训练曲线 + GPU 遥测仪表盘
• 桌面客户端: Electron + React 19，跨平台支持

快速链接

• Release 下载
• 安装指南
• 使用手册
• API 文档
• 模型训练
• 推理引擎