ModeMoEIO：面向学习式惯性里程计的运动模式条件混合专家方法

ModeMoEIO: Motion-Mode-Conditioned Mixture-of-Experts for Learning-Based Inertial Odometry

中文 | English

作者：BUG423
状态：初步公开稿 / Working Paper
版本：v0.1.0

初步公开说明

本文公开的是一项仍在推进中的研究工作。该研究构想由作者借助自研工具 PaperFlow 完成问题拆解、方法组织与早期实验规划，并已进行了有限的初步验证。现阶段尚未完成完整的基准对比、消融实验、跨数据集验证和统计分析，因此本文不报告最终性能结论。

本次公开旨在形成对 ModeMoEIO 方法构想、技术路线与早期实现思路的可追溯原始披露记录。完整实验、模型参数、训练代码与复现材料将在研究充分验证并形成完整论文后再行公开。

---

摘要

学习式惯性里程计通常采用单一神经网络，将固定时间窗口内的惯性测量直接映射为速度、位移或相对运动状态。然而，真实行人运动具有显著的模式异质性：静止、稳定直行、转向以及启停、加减速和姿态变化引起的过渡运动，在信号分布、运动约束和回归难度上均存在明显差异。使用同一组回归参数统一建模所有运动状态，可能导致不同运动模式之间的梯度冲突，使网络倾向于学习跨模式平均映射，进而削弱其对局部运动规律的表达能力。

为此，本文提出 ModeMoEIO，一种面向学习式惯性里程计的运动模式条件混合专家框架。该方法首先利用共享时序编码器从惯性测量窗口中提取统一运动表征，随后通过门控网络估计当前样本属于不同运动模式的软权重。多个相互独立的速度专家分别学习静止、直行、转向和过渡运动下的局部映射，最终通过门控权重对专家预测进行连续融合。为在缺乏人工运动模式标注的情况下促进专家分工，本文进一步设计了训练期运动模式伪标签：依据目标水平速度与平均偏航角速度，将样本划分为四类基础运动状态，并以辅助分类损失监督门控网络。同时，引入负载均衡约束以缓解混合专家训练过程中常见的专家坍缩问题。推理阶段不再依赖目标速度或人工规则，模型仅根据惯性特征自主完成专家分配与速度预测。

初步验证表明，运动模式条件建模具有改善局部速度回归与复杂运动适应性的潜力。本文目前作为早期研究披露稿公开，后续将进一步完成系统基准实验、消融研究、专家专门化分析和跨数据集泛化评估。

关键词： 学习式惯性里程计；行人惯性导航；混合专家；运动模式；条件回归；IMU

---

1. 引言

惯性测量单元能够以较高频率提供角速度和比力观测，且不依赖外部基础设施，在行人导航、可穿戴设备、移动机器人和无卫星定位环境中具有重要价值。然而，消费级 IMU 存在明显的噪声、零偏和尺度误差，直接积分会导致误差快速累积，使纯惯性定位难以长期稳定工作。

近年来，学习式惯性里程计通过神经网络从局部 IMU 序列中学习运动先验，逐步取代对原始惯性信号的直接双重积分。IONet 将连续惯性序列切分为局部窗口，利用深度网络预测窗口级运动状态，为后续研究奠定了基础。RoNIN 进一步面向自然行人运动构建大规模数据集，并系统研究了神经网络在复杂携带方式和自然动作下的鲁棒性。TLIO 在局部位移回归之外显式建模预测不确定性，并将学习输出作为相对状态观测紧耦合到扩展卡尔曼滤波器中。这些工作证明了数据驱动方法能够从惯性信号中提取传统积分难以显式建模的运动规律。

尽管如此，现有学习式惯性里程计大多仍将所有运动样本交由同一个主干网络和同一个输出头处理。这一设计隐含假设：不同运动状态可以由同一套连续回归函数充分描述。然而，行人惯性信号在不同状态下具有显著差异。例如，静止状态更依赖零速约束和传感器噪声建模；稳定直行主要体现周期性步态与水平速度的关系；转向运动需要处理角速度、姿态变化和速度方向变化之间的耦合；过渡运动则常伴随非平稳信号和快速动力学变化。若强制单一回归器同时覆盖这些异质分布，模型可能在不同模式之间产生表征竞争。

混合专家模型为这一问题提供了自然的解决路径。其核心思想是将复杂输入空间划分为若干局部子区域，由不同专家分别学习局部映射，再由门控网络根据输入动态组合专家输出。与单一网络相比，混合专家能够在保持共享特征提取能力的同时，为不同运动模式保留相对独立的参数空间。

基于这一观察，本文提出 ModeMoEIO。其核心不是简单地增加多个回归头，而是将可解释的运动模式先验引入专家路由过程：训练阶段利用由速度和偏航角速度构造的弱监督标签，引导门控网络区分静止、直行、转向和过渡运动；推理阶段则完全移除规则依赖，由模型自主判断专家组合。本文的主要贡献可概括为：

1. 将学习式惯性里程计重新表述为具有运动模式异质性的条件回归问题；
2. 使用共享时序编码器与多个独立速度专家，在共享表示和模式专门化之间取得平衡；
3. 通过训练期运动模式伪标签引导专家形成具有物理含义的分工；
4. 使用软门控而非硬切换，使模型能够连续描述模式边界和复杂过渡状态；
5. 引入负载均衡约束，降低专家长期失活或路由塌缩的风险。

---

2. 相关工作

2.1 学习式惯性里程计

传统惯性导航依赖对角速度和比力进行连续积分，但低成本 IMU 的误差会随时间快速累积。学习式方法试图通过数据驱动方式直接估计窗口级运动量，从而减少长期积分带来的漂移。

IONet 将惯性里程计转化为序列学习问题，通过神经网络从局部 IMU 窗口估计运动状态，为后续学习式惯性导航奠定了基础。RoNIN 进一步面向自然行人运动构建大规模数据集，并提出适用于复杂携带方式的神经惯性导航模型。TLIO 在局部位移回归之外显式建模预测不确定性，并将学习输出作为相对状态观测紧耦合到扩展卡尔曼滤波器中。后续工作还从 Transformer、上下文建模、多任务学习和不确定性估计等方向持续提升惯性运动预测能力。

这些方法主要关注时序表征、网络结构或滤波融合，但通常仍以单一预测器覆盖全部运动状态。ModeMoEIO 的不同之处在于直接针对运动分布内部的异质性进行建模，并将专家专门化作为核心结构假设。

2.2 混合专家与条件计算

混合专家模型通过门控函数对多个局部专家进行加权组合。经典混合专家理论认为，不同专家可以分别覆盖输入空间中的不同局部区域，门控网络负责学习样本到专家的分配关系。后续稀疏门控和条件计算研究进一步表明，专家路由能够在控制计算成本的同时提升模型容量，但也会引入训练不稳定、专家利用不均衡和路由坍缩等问题，因此通常需要额外的负载均衡机制。

ModeMoEIO 采用软门控形式，使每个样本可以由多个专家共同解释。与主要用于扩大模型容量的通用 MoE 不同，本文中的专家数量较少，其目的并非构建超大规模网络，而是显式表达惯性运动中的局部动力学差异。

2.3 混合专家在惯性里程计中的相关探索

近期已有工作开始探索混合专家在惯性里程计中的应用。例如，面向自行车定位的研究使用 MoE 结构降低模型参数量和计算成本；MosaicIMU 则使用载体条件专家来增强跨载体泛化能力。这些工作说明专家机制适合处理惯性导航中的分布差异。

本文关注的差异维度与上述工作不同。ModeMoEIO 不以载体类型或计算效率作为主要路由依据，而是将单一载体内部持续变化的运动模式作为专家划分基础。其路由监督来自静止、直行、转向和过渡等运动状态伪标签，目标是使专家学习具有明确运动语义的局部速度映射。因此，本文更强调运动状态层面的条件回归与专家可解释性。

---

3. 方法

3.1 问题定义

给定长度为 $T$ 的惯性测量窗口：

$$ \mathbf{X}\in\mathbb{R}^{B\times C\times T}, $$

其中 $B$ 表示批大小，$C$ 表示惯性通道数，$T$ 表示窗口长度。模型目标是预测与该窗口对应的速度向量：

$$ \hat{\mathbf{v}}\in\mathbb{R}^{B\times D}. $$

标准学习式惯性里程计通常使用单一函数 $F$ 完成映射：

$$ \hat{\mathbf{v}}=F(\mathbf{X}). $$

本文认为，真实映射更适合表示为多个运动模式条件函数的加权组合：

$$ \hat{\mathbf{v}} = \sum_{k=1}^{K} \pi_k(\mathbf{X})F_k(\mathbf{X}), $$

其中 $K$ 为专家数量，$F_k$ 表示第 $k$ 个运动专家，$\pi_k$ 表示由门控网络产生的专家权重。

3.2 总体框架

ModeMoEIO 由三个主要模块构成：

1. 共享时序编码器：从原始 IMU 窗口提取统一运动特征；
2. 运动模式门控网络：根据共享特征计算不同专家的软分配权重；
3. 运动模式专家集合：分别学习静止、直行、转向和过渡运动下的速度映射。

整体方法流程为：

IMU 窗口 → 共享时序表征 → 运动模式门控与并行专家预测 → 软权重融合 → 速度输出

训练阶段额外使用运动模式伪标签监督门控网络；推理阶段仅保留由惯性特征驱动的自主路由。

3.3 共享时序编码

共享编码器将惯性窗口映射为固定维度特征：

$$ \mathbf{h}=E_{\theta}(\mathbf{X}), $$

其中 $E_{\theta}$ 表示参数为 $\theta$ 的一维时序编码网络。编码器负责提取不同运动模式共同依赖的基础信息，如局部频率结构、角速度变化、短时动态响应和跨通道耦合关系。

采用共享编码器而非为每个专家配置独立主干，基于两方面考虑。首先，不同运动模式仍共享大量底层惯性特征，完全独立编码会造成不必要的参数冗余。其次，共享表示使门控和专家建立在同一特征空间中，有利于形成稳定的联合优化。

3.4 运动模式定义与伪标签

常见惯性里程计数据集通常不提供显式运动状态标签。为引导专家形成具有物理意义的分工，本文在训练阶段依据目标水平速度和窗口平均偏航角速度构造运动模式伪标签。

定义水平速度大小：

$$ s = \sqrt{v_x^2+v_y^2}, $$

定义窗口平均偏航角速度幅值：

$$ r = \left| \frac{1}{T} \sum_{t=1}^{T} \omega_z(t) \right|. $$

本文将基础运动状态划分为四类：

模式	物理含义	判定原则
静止	水平运动接近零	速度低于静止阈值
直行	具有稳定平移且转向较弱	速度较高且偏航角速度较小
转向	具有稳定平移并伴随明显航向变化	速度较高且偏航角速度较大
过渡	启停、加减速或模式边界状态	不满足前三类的其他样本

记规则生成的运动模式标签为：

$$ y_{\mathrm{mode}}\in{1,\dots,K}. $$

这些标签不参与推理，而是作为训练期弱监督信号，帮助门控网络更快建立与实际运动状态相关的路由结构。

3.5 运动模式门控

门控网络根据共享特征产生专家 logits：

$$ \mathbf{z}=G_{\phi}(\mathbf{h}), $$

其中 $G_{\phi}$ 为参数为 $\phi$ 的门控函数。随后通过带温度参数的 Softmax 得到专家权重：

$$ \boldsymbol{\pi} = \mathrm{softmax} \left( \frac{\mathbf{z}}{\tau} \right), $$

其中：

$$ \sum_{k=1}^{K}\pi_k=1. $$

温度参数 $\tau$ 控制专家分配的平滑程度。较低温度使路由更接近单专家选择，较高温度则鼓励多个专家共同参与。本文采用软门控的主要原因是，真实运动状态之间不存在严格离散边界。例如，从直行进入转弯的过程中，样本可能同时包含稳定步态、航向变化和非平稳过渡。连续权重能够避免硬切换导致的预测突变。

3.6 运动模式专家与软融合

对于每个专家 $F_{\psi_k}$，其输入均为共享特征 $\mathbf{h}$：

$$ \hat{\mathbf{v}}_k = F_{\psi_k}(\mathbf{h}), \qquad k=1,\dots,K. $$

不同专家具有相同的函数形式但参数独立。最终速度预测为：

$$ \hat{\mathbf{v}} = \sum_{k=1}^{K} \pi_k\hat{\mathbf{v}}_k. $$

在训练过程中，门控分类监督倾向于将不同运动状态分配给相应专家，而主速度回归目标则迫使各专家在其高权重区域内提高预测精度。二者共同作用，使专家逐渐形成面向不同运动模式的局部回归能力。

3.7 优化目标

整体训练目标由速度回归损失、运动模式门控损失和负载均衡损失组成：

$$ \mathcal{L} = \mathcal{L}_{\mathrm{vel}} + \lambda_{\mathrm{mode}}\mathcal{L}_{\mathrm{mode}} + \lambda_{\mathrm{bal}}\mathcal{L}_{\mathrm{bal}}. $$

3.7.1 速度回归损失

速度回归损失衡量最终融合预测与真实速度之间的差异：

$$ \mathcal{L}_{\mathrm{vel}} = \ell \left( \hat{\mathbf{v}}, \mathbf{v} \right). $$

其中 $\ell$ 可根据具体训练设置采用均方误差、平滑 $L_1$ 损失或其他适合速度回归的目标函数。

3.7.2 运动模式门控损失

门控网络通过交叉熵学习训练期伪标签：

$$ \mathcal{L}_{\mathrm{mode}} = \mathrm{CE} \left( \mathbf{z}, y_{\mathrm{mode}} \right). $$

该损失并不要求运动模式规则完全描述真实动力学，而是提供具有物理可解释性的初始划分，使专家分工不必完全依赖无约束的自发竞争。

3.7.3 负载均衡损失

记一个训练批次内的平均门控权重为：

$$ \bar{\boldsymbol{\pi}} = \frac{1}{B} \sum_{i=1}^{B} \boldsymbol{\pi}^{(i)}. $$

理想情况下，不同专家在训练过程中均应获得足够样本。本文使用均匀分布作为基础均衡目标：

$$ \mathcal{L}_{\mathrm{bal}} = \left| \bar{\boldsymbol{\pi}} - \frac{1}{K}\mathbf{1} \right|_2^2. $$

该项主要用于缓解训练早期门控集中到少数专家的现象。需要指出的是，真实运动模式分布未必均匀，因此均衡损失仅作为较弱的正则项，而不应压制由数据产生的合理专家偏好。

3.8 推理过程

推理阶段仅输入 IMU 窗口。模型首先生成共享特征，再根据特征计算门控权重，并融合全部专家输出：

$$ \mathbf{X} \rightarrow \mathbf{h} \rightarrow \boldsymbol{\pi} \rightarrow {\hat{\mathbf{v}}_k}_{k=1}^{K} \rightarrow \hat{\mathbf{v}}. $$

目标速度、运动模式规则和伪标签均不参与部署阶段。因此，规则监督仅作为训练期归纳偏置，不构成实际系统运行的额外依赖。

---

4. 初步实验与分析

4.1 当前验证状态

目前已完成有限规模的内部可行性测试。初步观察显示，在保持共享时序编码能力的基础上，引入运动模式条件专家后，模型能够形成非完全一致的专家响应，并在部分测试设置中表现出优于单一回归头的趋势。

由于当前验证尚不完整，本文暂不公开具体数值，也不据此宣称该方法已稳定优于现有基线。现阶段结果仅表明以下研究假设值得继续验证：

1. 不同运动模式可能对应不同的局部速度映射；
2. 基于运动模式的专家分工可能减少单一模型中的跨模式平均；
3. 训练期弱监督能够帮助门控形成更稳定、更可解释的分配；
4. 软融合可能更适合描述转向、启停和加减速等连续过渡状态。

4.2 后续实验设计

完整研究将围绕以下实验展开。

基准对比

拟比较的方法包括：

• 单一共享编码器与单一速度回归头；
• 具有相同参数规模的多头回归网络；
• 不使用模式监督的普通软混合专家；
• 使用硬路由的专家模型；
• 不包含负载均衡约束的 ModeMoEIO；
• 完整 ModeMoEIO。

评价指标

计划使用：

• 速度均方误差与平均绝对误差；
• 轨迹绝对误差；
• 固定时间窗口相对轨迹误差；
• 不同运动模式下的分组预测误差；
• 专家利用率与门控熵；
• 推理时间、参数量和计算复杂度。

消融实验

计划分析：

• 专家数量；
• 门控温度；
• 运动模式阈值；
• 模式分类损失权重；
• 负载均衡损失权重；
• 软路由与硬路由；
• 有无伪标签监督；
• 不同运动模式划分方式；
• 共享编码器与专家独立编码器。

专家专门化分析

为验证专家是否真正学习到不同动力学模式，后续将重点观察：

• 不同运动状态对应的门控权重分布；
• 单条轨迹中的专家切换过程；
• 专家在静止、直行、转向和过渡区间内的误差；
• 专家输出之间的差异性；
• 门控特征空间的聚类结构；
• 错误路由对最终轨迹的影响。

4.3 预期风险

该方法仍面临若干潜在问题。

首先，基于阈值构造的运动模式标签可能无法完整描述真实运动动力学，特别是在跑步、上下楼、侧向运动和设备剧烈摆动等复杂情形下。其次，专家可能仅在参数层面产生差异，而未形成稳定的语义专门化。再次，简单负载均衡可能与真实非均匀运动分布产生冲突。最后，模型性能提升可能来自参数量增加，而非运动模式建模本身，因此必须通过参数匹配基线与充分消融加以验证。

---

5. 讨论

ModeMoEIO 的核心假设是：惯性里程计中的运动状态并非单一同质分布，而是由多个具有不同局部规律的子分布构成。从这一角度看，专家机制的价值不在于单纯提升模型容量，而在于为不同动力学状态提供可分离的参数空间。

运动模式伪标签同时具有优势和局限。其优势在于无需额外人工标注，且能够将门控行为与可解释运动状态联系起来；其局限在于规则仅是对连续运动空间的粗粒度近似。未来可进一步研究可学习运动原型、层次化运动状态、连续潜变量路由或规则与无监督路由的联合训练。

另一个重要问题是专家粒度。四种基础模式有利于建立清晰的早期验证框架，但并不意味着这是最优划分。更细粒度的专家可覆盖跑步、上下楼、侧向运动、急转弯和不同携带方式；然而，专家数量增加也可能造成训练样本不足、路由不稳定和模型复杂度上升。如何在可解释性、数据规模与预测性能之间取得平衡，是后续工作的关键问题。

---

6. 结论与后续工作

本文提出 ModeMoEIO，一种面向学习式惯性里程计的运动模式条件混合专家框架。该方法通过共享时序编码器提取统一惯性表征，并利用门控网络在多个运动专家之间进行软分配。训练阶段采用由水平速度和偏航角速度构造的运动模式伪标签，引导静止、直行、转向和过渡专家形成具有物理意义的分工，同时使用负载均衡约束降低专家坍缩风险。推理阶段完全依赖 IMU 特征完成自主路由，无需规则标签或额外运动状态输入。

当前工作仍处于早期阶段，已有初步验证支持继续深入研究，但尚不足以形成最终性能结论。后续将完成系统基准对比、跨数据集实验、轨迹级评价、专家专门化分析和完整消融，并进一步研究更灵活的运动模式发现与路由机制。

---

7. 原创披露、研究状态与材料开放说明

本仓库构成作者对 ModeMoEIO 方法构想的首次公开披露记录，公开内容包括问题定义、运动模式条件专家框架、训练期运动模式伪监督、软专家融合和负载均衡设计。仓库提交记录、版本标签和发行记录用于固定本文在相应时间点的公开内容及后续演进。

本文目前是研究中的初步公开稿，而非最终定稿。作者正在继续完善实验、理论分析和论文写作。为保护尚未完成研究的完整性以及未公开实现材料的相关权益，现阶段不提供训练代码、模型参数、完整实验配置或可直接复现的工程实现。待研究完成、论文形成并完成适当发布后，作者将重新评估代码与实验材料的开放范围。

本仓库未授予任何开源许可。除适用法律或 GitHub 平台条款明确允许的情形外，未经作者书面许可，不得复制、改编、再发布、商业使用或基于本文内容制作衍生实现。学术讨论与引用不受影响，但必须清晰标注作者、项目名称、仓库来源和对应版本。

© 2026 BUG423. All rights reserved.

---

8. 引用方式

@misc{bug423_modemoeio_2026,
  author       = {BUG423},
  title        = {{ModeMoEIO}: Motion-Mode-Conditioned Mixture-of-Experts for Learning-Based Inertial Odometry},
  year         = {2026},
  publisher    = {GitHub},
  url          = {https://github.com/BUG423/moe-io},
  note         = {Preliminary Working Paper, version 0.1.0}
}

---

参考文献

---

致谢

本文的早期研究构想整理、方法结构化与初步实验规划得到了作者自研工具 PaperFlow 的辅助。PaperFlow 用于帮助作者将初始想法转化为结构化研究问题、方法方案与验证计划。本文中的科学判断、方法设计、实验责任、原创性主张和最终表述均由作者承担。