yolox-l蒸馏yolox-nano

[Fight-hawk]

我实在自己的数据集上训练一个yolox-l和yolox-nano，用yolox-l去蒸馏yolox-nano，损失如下

[Fight-hawk]

看起来貌似teacher-model没有起到作用 是student-model自己在学习，是不是蒸馏损失的权重太小了？

[RY-97]

I am researching this direction, can I exchange some questions about FGD with you?

[Fight-hawk]

@renyu-renyu ok，by the way, if you are Chinese, we can talk with native language.

[RY-97]

@Fight-hawk 你好，可以一起交流吗

[Fight-hawk]

@renyu-renyu 可以啊 我最近也在搞知识蒸馏

[RY-97]

@renyu-renyu 可以啊 我最近也在搞知识蒸馏

你有在其他算法实现吗

[Fight-hawk]

@renyu-renyu 其他目标检测算法么，目前只在yolox上进行了实验

[RY-97]

@renyu-renyu 其他目标检测算法么，目前只在yolox上进行了实验

效果怎么样阿

[Fight-hawk]

训练150epoch 提升了AP0.5 提高了1.5 mmdet

[Fight-hawk]

@www516717402 我没复现精度，在自己的数据集上试了一下，有效果。作者一直拒绝提供完整的训练log，可能是加了一些trick吧

[www516717402]

@Fight-hawk @renyu-renyu mmdet是在V2.15.1版本加入的YOLOX（当时很不稳定，而且只有tiny版本复现出了精度），而这个蒸馏用的是mmdet-V2.11版本。是他自己复现的YOLOX-m的baseline是45.9%？？？但是官方YOLOX-m的baseline是46.9%，不清楚作者用的是什么版本，还有如何复现的精度，这baseline精度差距1%去哪了。

[www516717402]

@Fight-hawk 你自己的数据集尺度有coco那么大吗？还有AP0.5提高了1.5%，其它项有降低吗？一句题外话，蒸馏一般不适用YOLOX-L和YOLOX-Nano配合，Gap差距太大非常容易崩，你能有提高也是奇迹

[Fight-hawk]

不明白你在逼逼什么 蒸馏一般不适用YOLOX-L和YOLOX-Nano配合 关于你有实践过么 道听途说也能对别人逼逼赖赖？

[www516717402]

@Fight-hawk
1）首先非常抱歉打扰你了。
2）蒸馏过人脸识别，大模型和超小模型有gap，很难训练而且效果不好。
3）仅仅是提出我的疑惑，没有任何别的意思。冒犯到你，再次抱歉。

[yzd-v]

@Fight-hawk @renyu-renyu mmdet是在V2.15.1版本加入的YOLOX（当时很不稳定，而且只有tiny版本复现出了精度），而这个蒸馏用的是mmdet-V2.11版本。是他自己复现的YOLOX-m的baseline是45.9%？？？但是官方YOLOX-m的baseline是46.9%，不清楚作者用的是什么版本，还有如何复现的精度，这baseline精度差距1%去哪了。

我用的mmdet==2.19做的yolox，mmdet的config跑出来就是45.9..........，对于yolox的修改是有yolox分支

[yzd-v]

@www516717402 我没复现精度，在自己的数据集上试了一下，有效果。作者一直拒绝提供完整的训练log，可能是加了一些trick吧

没有其他trick，用mmdet==2.19，再根据yolox分支进行修改一下就可以跑到结果的点

[www516717402]

@Fight-hawk @renyu-renyu mmdet是在V2.15.1版本加入的YOLOX（当时很不稳定，而且只有tiny版本复现出了精度），而这个蒸馏用的是mmdet-V2.11版本。是他自己复现的YOLOX-m的baseline是45.9%？？？但是官方YOLOX-m的baseline是46.9%，不清楚作者用的是什么版本，还有如何复现的精度，这baseline精度差距1%去哪了。

我用的mmdet==2.19做的yolox，mmdet的config跑出来就是45.9..........，对于yolox的修改是有yolox分支

多谢解惑，yolox-m不达标可以提bug了。

[www516717402]

@yzd-v 我跑了一下代码没问题（精度确实达不到官方）。感谢开源！

[lixiangMindSpore]

您好，您是怎么跑的？我看FGD/configs/distillers/fgd目录下没有相关yolox的配置？方便告知一下吗？多谢

[Fight-hawk]

您好，您是怎么跑的？我看FGD/configs/distillers/fgd目录下没有相关yolox的配置？方便告知一下吗？多谢

在yolox分支

[yingwenmingzi123]

您好，我想问一下你跑的那个版本的mmdet啊，mmdet==2.19的话会报sgd错误
ValueEPror: SGD: some parameters appear in more than one parameter group。方便告知一下这个是怎么解决的嘛。多谢