关于在LLVIP数据集上的复现结果

[XueZ-phd]

作者你好，
如这里所述，LLVIP数据集自发表以后被更新了一次，更新后的LLVIP数据集的行人检测精度也提高了，即：

从图中可以看出，更新后的LLVIP仅在infrared模态上的检测结果（0.67）就优于您论文中的结果（0.636）：

考虑到LLVIP被更新过一次，于是我将您的代码在新的LLVIP上重新训练了一次，batch_size=8x4gpus, image_size=1024. cfg is here, hyp is here.
我训练的结果为0.656，远低于LLVIP中仅使用infrared的结果。

为了实验的公平性，我已确认您的代码和LLVIP开源的代码都是YOLOv5 (version5.0)。请看LLVIP作者的回复，以及您之前的回复.

以上实验结果令我非常困惑，请问您是否能提供在新的LLVIP数据集上的CFT的mAP呢？这对后来者与您的方法做公平对比非常重要

期待您的回复

[XueZ-phd]

我同时发现，issue #29 中也有人遇到同样的问题

[a1997-dom]

你好，我对这份代码的某一部分也有一些疑惑，请问可以留一个联系方式交流一下嘛

[SwaggyYhy]

我认为这种特征级融合的作用比较有限，我用yolov5l单独检测红外图像，加载COCO预训练权重后能比作者融合后的效果高7个点

[XueZ-phd]

@SwaggyYhy
这有两个原因：1-现在的yolo-v5已经升级到7.0版本了，而作者使用的是5.0版本，所以yolov5-v7.0本身的baseline就比YOLOv5-v5.0好。为了公平对比，您应该选择在相同的设置下进行实验；2-llvip这个数据集本身thermal就很清晰，rgb能给thermal提供的互补信息比较少，所以为了验证“特征融合是否对检测有帮助”，您可以选择在多个数据集上测试，比如kaist，flir, m3fd等等。

希望您能分享之后的实验结果。

[SwaggyYhy]

@SwaggyYhy 这有两个原因：1-现在的yolo-v5已经升级到7.0版本了，而作者使用的是5.0版本，所以yolov5-v7.0本身的baseline就比YOLOv5-v5.0好。为了公平对比，您应该选择在相同的设置下进行实验；2-llvip这个数据集本身thermal就很清晰，rgb能给thermal提供的互补信息比较少，所以为了验证“特征融合是否对检测有帮助”，您可以选择在多个数据集上测试，比如kaist，flir, m3fd等等。

希望您能分享之后的实验结果。

嗯嗯 我是在FLIR用yolov5 6.0测试的 后面会多尝试一下

[XueZ-phd]

@SwaggyYhy 这个数据集里面RGB能够提供互补的信息，有许多文章用实验已经证明融合后的算法会优于单一模态的方法。另外，FLIR数据集中小尺寸的物体比较多，而仅仅使用Thermal，对小尺寸物体的检测也不太准确，结合RGB应该会有一定的帮助。期待您后续设计的融合算法在该数据集上的表现。

[LJH-1999]

作者你好， 如这里所述，LLVIP数据集自发表以后被更新了一次，更新后的LLVIP数据集的行人检测精度也提高了，即： 从图中可以看出，更新后的LLVIP仅在infrared模态上的检测结果（0.67）就优于您论文中的结果（0.636）： 考虑到LLVIP被更新过一次，于是我将您的代码在新的LLVIP上重新训练了一次，batch_size=8x4gpus, image_size=1024. cfg is here, hyp is here. 我训练的结果为0.656，远低于LLVIP中仅使用infrared的结果。 为了实验的公平性，我已确认您的代码和LLVIP开源的代码都是YOLOv5 (version5.0)。请看LLVIP作者的回复，以及您之前的回复.

以上实验结果令我非常困惑，请问您是否能提供在新的LLVIP数据集上的CFT的mAP呢？这对后来者与您的方法做公平对比非常重要

期待您的回复

请问您能否提供一下您使用的更新过后的llvip的数据集，云盘链接那种