YOLO-Master MoT/MoA 混合专家架构完整研究报告

[BochunYuan]

YOLO-Master MoT/MoA 混合专家架构完整研究报告

研究周期：2026-07-29 ~ 2026-08-16
数据集：VisDrone 2019 (6471 训练图 / 548 验证图) + COCO 2017 补充实验
实验规模：8个模型变体 × 100 epochs，总训练时长 60+ GPU小时

---

🎯 核心结论

MoE baseline 已是强基线。 在 nano 尺度上，在 neck 上叠加 MoT/MoA 混合 block 未带来协同增益：

• 精度：七个臂中没有一个稳定超过 baseline +1% (mAP50-95)
• 延迟：所有混合架构 P50 延迟增加 27%~144%（架构上不可达 −10% 判据）
• 效率-精度比：baseline 是最好混合体的 1.28 倍

但研究产出了：

• ✅ 5个边界缺陷修复（其中 shifted-window attention mask 缺失影响所有已训练 MoT 模型）
• ✅ 68个新增测试用例（从 27 个扩展到 68 个）
• ✅ 路由行为完整可解释性分析（4 臂 × 548 图，场景分层 + 统计检验）
• ✅ 一个免费的工程升级（H3 配置：52% 延迟节省，精度不损）
• ✅ 三条可复用的方法论结论（交错计时、多口径验证、多 seed 必要性）

---

📊 三变体基础对比（VisDrone 100 epochs）

模型	mAP50-95	mAP50	Precision	Recall	P50 延迟	Params	FLOPs
YOLO-Master-EsMoE-N (MoE baseline)	17.01%	30.41%	41.79%	33.74%	11.95ms	3.45M	8.66G
YOLO-Master-v0.10-MoT-N	16.71%	30.14%	42.78%	33.10%	29.74ms	4.06M	12.26G
YOLO-Master-v0.10-MoA-N	16.80%	30.16%	43.02%	32.99%	27.39ms	3.58M	9.23G

核心发现：

• MoE baseline 同时拿下精度、速度、参数量三项最优
• MoT/MoA 的价值在降低误检（Precision +0.98~+1.22 pt），代价是漏检增加（Recall −0.64~−0.76 pt）
• 延迟增加（129%~149%）远超 FLOPs 增加（6.6%~41.5%），显存访问模式不利于 GPU 吞吐

---

🔬 路由行为可解释性分析

在 VisDrone 548 张验证图上完成专家激活模式分析：

场景级专家分工已学到，但输出高度同质化

场景	DeformableTransformer 激活率	统计显著性
遮挡/不规则 (occluded_irregular)	51.4%	p<0.001 vs dense_small
稀疏大目标 (sparse_large)	56.3%	p<0.001 vs regular
密集小目标 (dense_small)	43.0%	-
规则场景 (regular)	42.2%	-

但：因果分析显示所有层 cosine similarity > 0.999，三个 expert 学成了同一个函数。

路由坍缩定位

• P5 阶段完全坍缩：model.23.m.1 归一化熵=0，2个死专家
• Layer 20 路由真正在工作：熵最高（0.958-0.980），专家使用均衡
• 根因：P5 的 token 数太少，路由信号不足

详见：Interpretability_of_routing_behavior/report.md

---

🏗️ 混合架构探索：四个新臂

臂	Neck 配置	mAP Δ	P50 Δ	判定
H3 (单层 MoT L20)	C3k2 / MoT / C3k2	−0.99%	+27.1%	❌
H4 (MoA+MoT 交叉)	MoA / MoT / C3k2	+0.52%	+49.2%	❌
H2 (MoT×2 + MoA)	MoT / MoT / MoA	+1.11%*	+77.9%	❌
MoA+MoT (全堆叠)	MoT / MoT / MoT+MoA	−1.83%	+89.2%	❌

*H2 的 +1.11% 仅在末轮口径成立，三个取值口径跨越判定线，单 seed 不可分辨。

H3：唯一有工程价值的臂

• 用 MoT 的 1/3 block 数（2 vs 6）
• 52% 的延迟（21.45 vs 41.20 ms）
• 拿到比完整 MoT 更高的 mAP（0.16839 vs 0.16715）
• 路由可解释性假设得到验证：原 MoT 的 6 个 block 里有 4 个是纯成本

---

🛠️ 边界测试与稳定性修复

修复的 5 个缺陷

1. window_size <= 0 未验证 → 修复：构造时抛出 ValueError
2. n_points = 0 未验证 → 修复：Deformable 分支静默退化
3. shift_size 被强制转 bool → 修复：现支持显式整数值
4. Shifted window 缺少 attention mask → 修复：添加 Swin 风格 mask（影响所有已训练 MoT 模型）
5. MuSGD 优化器在 3D 参数上崩溃 → 修复：zeropower_via_newtonschulz5 现支持 3D 张量

测试覆盖

• tests/test_mot.py：68 个测试（原 27 个，新增 41 个边界测试）
• tests/test_mot_routing_scene_contrasts.py：13 个场景对比测试
• 覆盖所有要求的边界场景

Pull Request：[#PLACEHOLDER - 待填入实际 PR 链接]

---

💡 场景化洞察与推荐（8条，数据支撑）

1. 密集小目标场景：Window expert 激活率最高（+68%, p<1e-6），适合局部窗口交互
2. 稀疏大目标场景：Deformable expert 优先路由（四臂一致，所有 p<1e-4）
3. 边缘部署/实时检测：推荐 EsMoE-N（12ms P50，最高 mAP）
4. 低误检率需求：推荐 MoA-N（精确率 43.02%，+1.23 pt vs 基线）
5. MoT 部署优化：使用 H3 配置（仅保留 L20 MoT）可节省 52% 延迟而不损精度
6. 路由坍缩预防：避免在 P5 阶段放置 MoT（token 数太少，路由信号不足）
7. 训练预算受限场景：混合架构需更多 epoch 收敛（COCO 20ep 差距 −14.3%）
8. 多 seed 验证必要性：单 seed 的 +1% 效应可能是噪声（H2 三 seed 后判负）

---

📈 方法论产出：三条可复用结论

1. 交错计时方法（Interleaved Timing）

原方法（每臂连续计时）把测量期间的 vGPU 抖动整块记在某一臂头上，导致：

• 基线 P50 一次 16.87 ms、一次 11.66 ms（同一模型，差 44%）
• H3 一次快于纯 MoT、一次慢于它（排序矛盾）

新方法：八臂常驻显存，每轮各测一次并轮转访问顺序（300 轮），漂移均摊到所有臂。

• 实测每臂前后半程 P50 差 ≤0.11 ms
• 排序稳定，可跨臂比较

2. 三个取值口径验证

口径	H2 vs baseline	判定
末轮 (ep100)	+1.11%	✅ 过线
各自最佳	+0.99%	❌ 未过线
末 20ep 均值	+0.93%	❌ 未过线

一个真实效应不应该因为取值口径而跨越判定线。三口径一致才是可靠的正结果。

3. 小数据集相对排序不可信

COCO128（128 图）的精度排序在两个真实数据集上都不复现：

数据集	样本量	排序
COCO128	128	MoA > 基线 > MoT
VisDrone	6471	基线 > MoA > MoT
COCO 2017	118287	基线 > MoA > MoT

教训：给 0.0002 量级的数字排序 = 给噪声排序。

---

📂 实验数据与复现

训练结果

• VisDrone 三变体对比：runs/visdrone_mot_ablation/
• 混合架构探索：runs/visdrone_hybrid/
• 多 seed 验证：runs/visdrone_seeds/
• COCO 2017 补充：runs/Coco_2017_mot_ablation/
• 路由可解释性：Interpretability_of_routing_behavior/

关键脚本

• 训练脚本：scripts/compare_mot_ablation.py（含 --interleave 交错计时）
• 路由分析：scripts/analyze_mot_routing.py, scripts/run_mot_interpretability.py
• 配置文件：ultralytics/cfg/models/master/v0_10/det/yolo-master-{mot,moa,hybrid-*}-n.yaml

完整技术总结

• 中文版（69KB）：Technical_summary_article/YOLO-Master_MoT_技术总结.md
• 英文学术版：Technical_summary_article/YOLO-Master_MoT_Academic_Paper.md

Pull Request

边界修复代码已提交 PR：#233

包含：

• 5 个缺陷修复（含影响所有已训练 MoT 模型的 attention mask 修复）
• 4 个混合架构 YAML 配置
• 41 个新增边界测试
• 交错计时方法实现

---

🔍 根本原因分析

MoT/MoA 在 nano 尺度上未超越 baseline 的根因：

1. 专家同质化：cosine similarity > 0.999，三个 expert 学成了同一个函数
2. 训练不足以分化：20-100 epochs 不够让 expert 形成互补表示
3. balance loss 过强：抑制了 expert 之间的差异化
4. 显存访问瓶颈：路由 gather/scatter、多分支加权求和不利于 GPU 吞吐

改进方向：

• 增加 expert diversity loss（如 orthogonal regularization）
• 降低 balance_loss_coeff，允许更大的路由不均衡
• 更异质的 expert 组合（如 Conv + Transformer + MLP-Mixer）
• 更多训练 epoch + 更大模型尺度

---

📚 引用

如需引用本研究，请参考：

@misc{yolomaster-mot-ablation-2026,
  title={YOLO-Master MoT/MoA Ablation Study: A Complete Negative Result on Hybrid Expert Architectures at Nano Scale},
  author={Yuan, Bochun and YOLO-Master Team},
  year={2026},
  howpublished={GitHub Discussion, Tencent/YOLO-Master},
  url={https://github.com/Tencent/YOLO-Master/discussions/PLACEHOLDER}
}

---

完整实验数据与代码：https://github.com/Tencent/YOLO-Master
Pull Request：#233
项目路径：/root/autodl-tmp

---

研究由 Claude (Fable 5) 协助完成，实验在 NVIDIA vGPU-48GB 上执行