landmark retireval 的问题【Questions from email】

[WesleyZhang1991]

您好,
我在github 上阅读了您的论文关于GLD-v2数据集的图像检索。有个问题想请教一下关于评估。我所下载的数据集GLD-v2中大部分类别都是小于10张的。所以请问map@100这个评估方法你们是在所有的训练数据集中使用的吗？还是只是对于图像超过100张的类别计算的?

很期待您的回复
Tianyi Hu

[WesleyZhang1991]

map@100是用在测试集的，与训练集无关，只要某个Query（查询图片）有至少1张GT都能算。

例如某Query其GT为M和P，Query在Index（底库，假设有N张图片）中搜索，会获得所有N张Index图片与Query图片的相似度，按相似度从大到小排序即Q: ABCDM...（省略95个，这中间没有P）qaP（这个P排103位）

则map@all = 0.5 * (1/5 + 2/103)

map@100 = 0.5 * (1/5)

在图片检索领域，一些人把map@100错误地算成map@100 = (1/5)，认为P不在前100可以不记做分母，参考谷歌的论文和delg代码，谷歌是按正确方法计算的。评价方式更多讨论，可以见https://stackoverflow.com/questions/54966320/mapk-computation