论文中msvd的实验结果问题

[Tigeryang93]

论文表2(a)中msvd检索结果引用了Frozen的，zero-shot为33.7，fine-tuning为45.6。请问这个结果是复现得到还是原论文中的？我在原Frozen论文中只看到了一个33.7的R@1，应该是fine-tuning的结果。

[geyuying]

我们用Frozen开源的模型，在MSVD上以"Sentence-to-Video"的测评方式得到了zero-shot和fine-tuning的结果。其中arxiv上Frozen的zero-shot结果有误，应该是R@1: 38.7, R@5: 70.1, R@10 80.1, MeanR: 12.7。感谢你的提问，我们会在后续更正Frozen的这一结果，并且开源MSVD数据集上的测评代码。

[Tigeryang93]

您好，我想确认下论文中关于Frozen的zero-shot的R1=33.7以及fine-tuning的R1=45.6是你们利用Frozen开源模型复现的结果？因为他们的论文中并没有提到33.7是zero-shot or fine-tuning的结果，且paperwithcode网站（https://paperswithcode.com/sota/video-retrieval-on-msvd）上也用33.7作为他们得分的标准和其他fine-tuning的结果进行比较。

…

------------------ 原始邮件 ------------------ 发件人: "TencentARC/MCQ" ***@***.***>; 发送时间: 2022年4月14日(星期四) 下午2:39 ***@***.***>; ***@***.******@***.***>; 主题: Re: [TencentARC/MCQ] 论文中msvd的实验结果问题 (Issue #2) We use the released model from Frozen (https://github.com/m-bain/frozen-in-time) for zero-shot evaluation on msvd. — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: ***@***.***>