Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

指标计算问题 #11

Open
szxmachinelearning opened this issue Jun 16, 2022 · 9 comments
Open

指标计算问题 #11

szxmachinelearning opened this issue Jun 16, 2022 · 9 comments

Comments

@szxmachinelearning
Copy link

你好,我在计算指标时,使用pycocotools只能计算ap small ap middle,我想请教一下如何计算ap tiny 和ap vt

@szxmachinelearning
Copy link
Author

好的,谢谢,我没有使用mmdetection,应该怎么使用这个工具呢?

@Chasel-Tsui
Copy link
Collaborator

好的,谢谢,我没有使用mmdetection,应该怎么使用这个工具呢?

如果不是mmdetection,需要根据自己的检测框架修改evaluate的代码,主要是把pycocotools中import的COCOeval改成从aitodpycocotools中import;如果想要使用mmdetection,可以参考官方repo,或者适配了AI-TOD的repo

@szxmachinelearning
Copy link
Author

感谢您的耐心解答,目前我已测出大部分指标,不知如何测得各个类别的oLRP呢?

@Chasel-Tsui
Copy link
Collaborator

感谢您的耐心解答,目前我已测出大部分指标,不知如何测得各个类别的oLRP呢?

你好,cocoapi-aitod的相关文件中有计算oLRP的代码可以参考一下,不过相比于AP指标,oLRP使用较少并且计算比较耗时,在论文中只报告AP也是可以的。

@szxmachinelearning
Copy link
Author

嗯嗯,我直接使用cocoapi-aitod评估结果,只有整体的oLRP,但我看论文中有各个类别的oLRP,请问这些指标可以用该工具计算吗?

@Chasel-Tsui
Copy link
Collaborator

嗯嗯,我直接使用cocoapi-aitod评估结果,只有整体的oLRP,但我看论文中有各个类别的oLRP,请问这些指标可以用该工具计算吗?

这个代码包含了各个类别oLRP的信息,但是如果想要print出来,需要修改一下代码,oLRP的结果如果我没记错的话应该有三个维度组成[K,A,M],其中K这个维度指代类别维度,可以用类别进行索引得到classwise的oLRP结果

@szxmachinelearning
Copy link
Author

好的,再次感谢!

@winterscoming
Copy link

你好,我在yolo上验证aitod数据集时,发现aitod的标签命名是int型和str型共同存在的,导致验证时生成的json文件的image_id存在int和str型,在cocoeval上的sorted函数里无法对其排序,导致报错,请问这个问题该如何解决呢

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

3 participants