about openface toll

[dandelion915]

你好，当我运行 以下语句：
from MSA_FET import FeatureExtractionTool
fet = FeatureExtractionTool("openface")
feature = fet.run_single('./0010.mp4')
时，出现如下错误：
FileNotFoundError: [Errno 2] No such file or directory: '/home/ubuntu/.MMSA-FET/tmp/tmp.csv'
使用的是linux系统 librosa提取音频特征功能正常，请问这是什么原因呢？

[FlameSky-S]

您好，感谢您对我们工作的关注！

正常情况下fet会调用OpenFace可执行文件，将特征抽取结果存入tmp.csv，然后fet从csv文件中读取结果并处理。

当前版本在run_single运行完毕后，并不会删除tmp.csv。请确认/home/ubuntu/.MMSA-FET/tmp/tmp.csv是否存在。如果不存在，应该是openface可执行文件运行时出现错误，请附上屏显日志信息，谢谢

[dandelion915]

谢谢您快速的回复，经过调试是ubuntu的boost库没有正确安装，现在可以正常运行openface的特征提取了。
我还想正在问一下，论文中对于音频信号是1DF0+20D MFCC+12D CQT，在此工具中的librosa默认config输出的是24维特征，请问12D的CQT和1D的F0特征是用什么提取的呢？同样，openface默认config输出的也不是709维特征，请问如何才能提取和数据集processed格式对齐的特征呢？

[FlameSky-S]

您是指CH-SIMS数据集的论文吧。

对于音频特征：12维的CQT需要在音频抽取配置中加入chroma_cqt项；1维的f0是指过零率，在librosa默认配置中对应zero_crossing_rate。另外，需要将sample_rate设置为“22050”以确保和论文中一致。

对于视频特征：709维的特征包含：288维eye gaze相关特征，6维head pose特征，340维人脸关键点特征（68个关键点），40维PDM特征，35维action units特征。另外，需要将fps设置为“30”以确保和论文中一致。

参考配置如下：

{
  "audio": {
    "tool": "librosa",
    "sample_rate": 22050,
    "args": {
      "mfcc": {
        "n_mfcc": 20,
        "htk": true
      },
      "zero_crossing_rate": {},
      "chroma_cqt": {}
    }
  },
  "video": {
    "tool": "openface",
    "fps": 30,
    "multiFace": {
      "enable": false,
      "device": "cuda:0",
      "facedetScale": 0.25,
      "minTrack": 10,
      "numFailedDet": 10,
      "minFaceSize": 1,
      "cropScale": 0.4
    },
    "average_over": 1,
    "args": {
      "hogalign": false,
      "simalign": false,
      "nobadaligned": false,
      "landmark_2D": true,
      "landmark_3D": true,
      "pdmparams": true,
      "head_pose": true,
      "action_units": true,
      "gaze": true,
      "tracked": false
    }
  }
}

使用MMSA-FET工具包无法确保复现与SIMS论文完全一致的特征抽取结果。论文中使用了MTCNN方法进行人脸检测，该方法未包含在本工具中。

[dandelion915]

再次谢谢您的回复！请问bert的文字特征提取是只要把句子的txt输入，使用默认的config就可以了吗？还有请问多个数据输入的长度对齐是包含在run_datasets中的吗？

[FlameSky-S]

请问bert的文字特征提取是只要把句子的txt输入，使用默认的config就可以了吗？

十分抱歉当前版本没有考虑到使用run_single抽取文本单模态特征的情况，所以该函数的in_file是一个必选参数。如果需要使用run_single抽取文本单模态特征，需要给in_file传递任意字符串，并将txt文件路径传给text_file参数。

另外还需要注意bert预训练模型的选择。默认是英文的bert-base-uncased，如果需要跑中文数据需要更换为bert-base-chinese或其它中文预训练模型。

还有请问多个数据输入的长度对齐是包含在run_datasets中的吗？

是的，当前版本是将所有数据补齐或截断至mean + 3*std的长度，对于少量样本的数据集不太友好。未来版本可能会加入选项控制padding策略。

[dandelion915]

非常感谢您细致的回复并解决了我的问题，我还想问一下CH-SIMS数据集中多分类指标Acc-k取不同的k值时意味着什么呢？

[FlameSky-S]

Acc-k代表k分类。Acc-2是 Positive / Negative 二分类，Acc-3是 Pos / Neutral / Neg 三分类，Acc-5是 Strong Pos / Weak Pos / Neutral / Weak Neg / Strong Neg 五分类。

[dandelion915]

明白了!谢谢您！

[HEBAULC]

谢谢您快速的回复，经过调试是ubuntu的boost库没有正确安装，现在可以正常运行openface的特征提取了。 我还想正在问一下，论文中对于音频信号是1DF0+20D MFCC+12D CQT，在此工具中的librosa默认config输出的是24维特征，请问12D的CQT和1D的F0特征是用什么提取的呢？同样，openface默认config输出的也不是709维特征，请问如何才能提取和数据集processed格式对齐的特征呢？

您好 我也遇到了和您同样的问题 请问您是具体是怎么解决的呢？

[dandelion915]

谢谢您快速的回复，经过调试是ubuntu的boost库没有正确安装，现在可以正常运行openface的特征提取了。 我还想正在问一下，论文中对于音频信号是1DF0+20D MFCC+12D CQT，在此工具中的librosa默认config输出的是24维特征，请问12D的CQT和1D的F0特征是用什么提取的呢？同样，openface默认config输出的也不是709维特征，请问如何才能提取和数据集processed格式对齐的特征呢？

您好 我也遇到了和您同样的问题 请问您是具体是怎么解决的呢？

你好 我是用作者在上面回答中提供的config，特征维度就和原文中一样了。