KAIST 训练集和 MBNet的测试结果

[XueZ-phd]

您好
非常感谢您开源了这份代码，您的仓库整理的也很整洁。这对于刚接触跨模态行人检测的我而言非常有帮助。

在运行MBNet时我有三点疑问：

1. MBNet使用的训练集：kaist_train_data.npy其中有8,963对图片，这是根据什么标准采样的呀？我统计了kaist-paired，它共有50,184对训练图片，其中有行人的图片有21,622对。另外我查看了Liu的sanitized_annotations，它有7,601个标注。这些开源的数据集与这里的8,963对图片都对不上，这让我有些困惑。

2. kaist_train_data.npy中每一项都用字典存储了rgb-t图片路径和bbox，但是却没有类别，这与kaist中定义了多个类别不一致。请问您制作kaist_train_data.npy的标准是什么？另外，每个字典中还有smallseg和largeseg的路径，他们是什么啊？我展示一项字典如下：

    vis_bboxes []
    +++++
    filepath data/kaist/kaist_train/set00/V000/visible/I01223.png
    +++++
    ignoreareas []
    +++++
    filepath_small_seg data/kaist/kaist_train/set00/V000/smallseg/set00_V000_I01223.png
    +++++
    bboxes [[173. 210. 193. 259.]
    [190. 211. 214. 260.]]
    +++++
    filepath_lwir data/kaist/kaist_train/set00/V000/lwir/I01223.png
    +++++
    filepath_large_seg data/kaist/kaist_train/set00/V000/largeseg/set00_V000_I01223.png
   

3. 我运行了您开源的模型，部分结果如下
   Reasonable-all log-average miss rate = 8.01% (8.01%) recall = 98.83% (98.83%);
Reasonable-day log-average miss rate = 8.33% (8.33%) recall = 99.19% (99.19%);
Reasonable-night log-average miss rate = 7.82% (7.82%) recall = 98.07% (98.07%);
   对上述结果有两点疑惑：1）在KAISTdevkit-matlab-wrapper/README.md中说到括号中的是数值是在improved标签上的结果，而在上述结果中是不是都是improved的结果呀？2）您论文中的结果是All: 8.13%, Day: 8.28%, Night: 7.86%。对比来看，开源的结果更好了，是您重训了模型，还是上述的log-average miss rate不是跟您论文中的结果做对比的呀？

[CalayZhou]

您好，感谢关注，8,963对图片是从KAIST所有训练数据样本中做了一定筛选，在issue10中阐述了筛选方式:

I have done several experiments on KAIST dataset with different annotation settings. To deal with deal with other classes than 'person'? Such as 'cyclist' or 'people', I found that "Integrate all the classes into 'person' and perform single-class detection" performs best. I filter the training images which has no pedestrians, besides, the small pedestrians samples are retained. I recommand using as many annotations as possible and some extra data augments also help. For convenience，I turn the original vbb annotation to the .npy in our code.

也即实验发现使用越多的样本结果越好，因此将 'cyclist' 'people' 'person'?全部作为‘person’处理并保留小目标行人。kaist_train_data.npy就是根据上述规则制作的，只有一个类别‘person’所以没有另外标明，smallseg和largeseg是曾经想参考Illuminating Pedestrians via Simultaneous Detection & Segmentation做的尝试，但是后续没有用上；另外由于在KAIST数据集上训练有一定的波动性，所以release出来的模型比论文中稍微好一些；

[XueZ-phd]

@CalayZhou
您好，感谢您的回复
您提到将‘cyclist’‘people’‘person?’全部作为'person'处理。对于这8,963对图片，我仍有一点疑惑是：我统计了kaist-paired annotation，其中训练集中有目标框的标注共有21,622对。请问您除了整合类别以外，还进行了哪些采样方法呀？

[CalayZhou]

因为是两三年前筛选处理的，我印象中没有采用其他特殊的筛选方式，8,963对图片中每张图片不只包含一个行人，可以统计一下8,963对图片中行人个数，看看与21,622是否相近。

[XueZ-phd]

@CalayZhou 好的，谢谢您的回复，我们先用自己筛选的数据集