Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

请教关于实验结果 #7

Closed
Columbine21 opened this issue Feb 28, 2022 · 2 comments
Closed

请教关于实验结果 #7

Columbine21 opened this issue Feb 28, 2022 · 2 comments

Comments

@Columbine21
Copy link

Columbine21 commented Feb 28, 2022

作者您好,感谢您的开源!您的代码框架对我深受启发,有以下问题希望解答:

Snipaste_2022-02-28_22-27-03

这里的average列结果和前面6行的平均值不一致,例如:(59+51.6+68.02+65.43+75.14+73.61)/6 = 65.46 请问average是计算的什么统计量呢。

截屏2022-02-28 下午10 29 05

以及上图结果中,这种Figure 2(b的模型已经是IEMOCAP在2021年最好的结果么,非常感谢
@FatDs-lrc
Copy link
Collaborator

作者您好,感谢您的开源!您的代码框架对我深受启发,有以下问题希望解答:

Snipaste_2022-02-28_22-27-03

这里的average列结果和前面6行的平均值不一致,例如:(59+51.6+68.02+65.43+75.14+73.61)/6 = 65.46 请问average是计算的什么统计量呢。
截屏2022-02-28 下午10 29 05

以及上图结果中,这种Figure 2(b的模型已经是IEMOCAP在2021年最好的结果么,非常感谢

感谢您对我们工作的关注!对于您提出的问题:
1)avg列的结果是由6种不同模态缺失状态的数据合并在一起,在包含了6种缺失模态情况的大测试集(大小等于原始测试集的6倍)下计算的总体评测指标。在数值上与6种模态缺失情况应指标的算术平均值是近似的,的确不是等价的。文中表述可能会有些歧义,感谢指出问题!
2)据我们所知,在使用语音、视觉(人脸)、文本三个模态输入并且不使用额外数据的工作中,从结果上看是最好的。但需要注意的是Tabel4中第一行的模型只是一个baseline模型,文本上使用了BERT-Large特征(IEMOCAP上的很多工作使用Glove),可能并不能说明这个模型结构设计在多模态情感识别任务上是SOTA。在本文中,Table4的实验的主要目的是用于说明我们使用的多模态特征编码器网络是一个具有较好多模态表征能力的模型,能够学到足够好的各模态情感表征。
我们近期在ICASSP2022上的工作:https://arxiv.org/abs/2111.00865 上达到了IEMOCAP数据集上多模态情感识别任务的SOTA,希望能对您有所帮助。

@Columbine21
Copy link
Author

好的,非常感谢

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants