MUGE数据集finetuning图文检索结果

[FD-Liekkas]

感谢大佬开源，请问技术报告中Table 2: 针对MUGE数据集跨模态检索的结果展示中，文字说明on text-to-image retrieval AND image-to-text retrieval，没看错的话表中应该只展示了text-to-image retrieval。在另外两个数据集COCO-CN和 Flickr30K-CN都展示了图文和文图的检索效果，所以也想知道MUGE图文检索的效果。

[JustinLin610]

抱歉好像知乎上忘回你了。是个typo我会改掉，MUGE只做image retrieval不做text retrieval。

[FD-Liekkas]

感谢大佬回复，再请教一下为什么MUGE不做图文检索任务的评测呢？是这个数据集不适合做这一块吗？

[yangapku]

因为MUGE的检索任务当时主要是从中文电商搜索场景来源的，这个场景下主要关注的就是文本搜索query检索商品图片的效果，所以就只考虑了text-to-image retrieval这个方向的指标。反过来image-to-text retrieval当然也是可以计算的，只是大家都没做这个方向，就没有对比的对象了。具体指标的话，我们的base模型，zeroshot的image-to-text retrieval的R1/5/10分别为38.7 65.6 75.1，供您参考哈。

[FD-Liekkas]

明白了，感谢大佬回复！