测试相关问题

[yuyudiandian]

您好！我更改了您的网络结构，然后发现在测试GOT LaSOT等数据集时报显存不足的错误，尝试更改了params.image_sample_size，但是对最终的结果影响很大，有没有像训练那样利用多卡训练的方法，我有4张卡，但是测试的时候只在一张卡上进行，所以报显存错误

[yuyudiandian]

另外想请问一下作者用的测评工具是什么，我用的pysot-tookit测出来你给的原始结果要比论文中低一些

[594422814]

1. 现有的跟踪算法普遍都是使用单卡进行测试的。多张卡测试理论是可行的，测试阶段要进行相应的修改。
2. 请问是哪些数据集的结果。TrackingNet LaSOT GOT10k VOT我用他们官方的测试工具。其余的小数据集（NFS UAV）主要是使用GOT-10K进行测试的，也是使用GOT-10k进行评估的。OTB数据集由于部分视频的起始帧问题，我修改了pytracking自带的测试部分代码，并使用自己写的脚本测试其性能，同时我测试了DiMP PrDiMP KYS等跟踪器的结果，结果基本吻合。

[yuyudiandian]

好的谢谢。我只测试了你的VOT和OTB的结果，VOT18用的是官方python评测器EAO是0.459和您论文的差不多，但是OTB测试的结果我用的是pysot-toolkit，最高的是0.704。

…

------------------ 原始邮件 ------------------ 发件人: ***@***.***>; 发送时间: 2021年7月14日(星期三) 晚上9:57 收件人: ***@***.***>; 抄送: ***@***.***>; ***@***.***>; 主题: Re: [594422814/TransformerTrack] 测试相关问题 (#24) 现有的跟踪算法普遍都是使用单卡进行测试的。多张卡测试理论是可行的，测试阶段要进行相应的修改。 请问是哪些数据集的结果。TrackingNet LaSOT GOT10k VOT我用他们官方的测试工具。其余的小数据集（NFS UAV）主要是使用GOT-10K进行测试的，也是使用GOT-10k进行评估的。OTB数据集由于部分视频的起始帧问题，我修改了pytracking自带的测试部分代码，并使用自己写的脚本测试其性能，同时我测试了DiMP PrDiMP KYS等跟踪器的结果，结果基本吻合。 — You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub, or unsubscribe.

[594422814]

我最初做实验时有地方出错了，导致我的OTB结果确实比论文偏低，抱歉。我已经更新了新的模型，在GOT等数据集上能达到比论文更好的性能，在OTB上有70.7%左右的性能（已经替代了原来的OTB结果）。

[yuyudiandian]

嗯嗯 是很棒的工作了 复现出来的结果确实和论文精度相差无几，我看每次跑出来因为pytracking的随机性，相同权重文件跑出来的结果可能相差有一个点左右，作者你有什么好的提高精度的trick么？

…

------------------ 原始邮件 ------------------ 发件人: ***@***.***>; 发送时间: 2021年7月20日(星期二) 晚上8:58 收件人: ***@***.***>; 抄送: ***@***.***>; ***@***.***>; 主题: Re: [594422814/TransformerTrack] 测试相关问题 (#24) 我最初做实验时有地方出错了，导致我的OTB结果确实比论文偏低，抱歉。我已经更新了新的模型，在GOT等数据集上能达到比论文更好的性能，在OTB上有70.7%左右的性能（已经替代了原来的OTB结果）。 — You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub, or unsubscribe.