GhostODE：一种基于常微分方程优化的轻量级网络

《Neurocomputing》：GhostODE: A lightweight network optimized by ordinary differential equation

　　

摘要
最近，神经常微分方程（NODEs）已成为轻量级神经网络的一个有前景的范式。 however，其在轻量级网络中的实际应用仍受限于数值积分的准确性 - 成本权衡，特别是在仅能承担少量积分步骤的情况下。在本文中，我们提出了 GhostODE，一种高效的轻量级 ODE 架构。首先，我们开发了通道式 ODE 求解器 Plus（COS+），这是一种共享投影、启发于 Heun 的预测 - 校正块，在有限的额外计算下改善了积分的准确性 - 成本权衡。其次，采用 Ghost 模块优化逐点卷积，大幅减少了模型参数量。最后，采用解耦知识蒸馏（DKD）作为辅助训练策略，以提高紧凑模型的性能。包括图像分类、目标检测、语义分割和真实世界边缘部署在内的广泛实验验证了所提出的 GhostODE 的有效性。在对评估的学习向量场上，直接端点误差分析表明，与 Euler 相比，共享投影预测 - 校正更新将归一化单步端点误差降低了 95.71%。在评估的任务中，GhostODE 通常匹配或优于轻量级基线，而其紧凑配置提供了显著的参数节省。值得注意的是，GhostODE 仅达到 0.45 M 参数（较 MobileNetV1 减少 86.4%），并在 Android 平台上达到 127.2 FPS，展示了其在边缘智能方面的实用性。代码可在 https://github.com/01LuGuang/GhostODE 获取。

引言
在资源受限设备（如手机和嵌入式系统）上部署深度神经网络需要设计高效、轻量级的架构。该领域的一个核心挑战在于平衡计算效率与表示准确性。然而，简单的缩放策略往往导致性能显著下降，需要专门的架构设计来优化这种权衡。
现有的轻量级模型主要通过高效算子设计、架构创新和新的计算范式来实现效率。MobileNetV1 [1] 首次引入了深度可分离卷积，显著降低了计算成本，并为高效架构开创了新范式。在此基础上，MobileNetV2-V4 提出了一系列改进，包括倒残差和线性瓶颈 [2]、神经架构搜索（NAS）[3] 以及通用倒瓶颈 [4]。除了深度可分离范式外，替代策略也细化了特征生成和交互的效率。ShuffleNet [5] 通过通道混洗操作增强了信息流，而 GhostNet 系列则分别侧重于利用特征冗余 [6]、解耦全连接注意力方法 [7] 和专用训练策略 [8]。最近，Vision Transformer (ViT) [9] 的兴起启发了混合设计，有效地将自注意力与高效卷积骨干集成，产生了能够进行跨架构融合 [10]、无缝模块集成 [11] 以及通过结构重参数化加速推理 [12] 的模型。
与传统架构相比，NODEs [13] 及其内存增强变体（nmODEs）[14] 通过将特征演化建模为连续时间动态系统，提供了一个有数学基础的范式。最近的研究已成功将该范式适应于各种任务，包括医疗图像分割 [15]、[16]、[17]、混合架构 [18]、视频理解 [19] 和通用视觉表示任务 [20]、[21]。
尽管取得了这些进展，构建轻量级 ODE 骨干仍根本上受限于准确性 - 延迟权衡。传统的一阶求解器可能产生显著的局部离散误差，当积分步数较少时可能限制性能；然而，增加步数或采用高阶求解器通常会增加计算成本。MobileODE [22] 开创了将离散化 ODEs 集成到 MobileNet 类架构的先河，通过通道式 ODE 求解器（COS）成功降低了复杂度，并通过可学习时间增量（）增强了训练稳定性。尽管如此，它仍然依赖于一阶求解器和标准逐点卷积，使得局部离散误差和逐点卷积的参数成本仍未得到充分解决。这需要一种协同方法，同时优化连续动力学和空间效率。
在本文中，我们提出了 GhostODE，一种新颖的轻量级 ODE 架构。我们的主要贡献如下：
•我们开发了直接微分 Heun（DDH），一种用于轻量级 ODE 网络的共享投影、启发于 Heun 的预测 - 校正机制。DDH 计算一次共享投影，并在两个状态依赖的斜率评估中复用，将理论计算开销限制在大约 7.2%（在 时）。进一步的直接数值分析表明，在评估的学习向量场上，DDH 将归一化单步端点误差降低了 95.71%（相对于 Euler）。
•我们开发了 COS+，一种基于 DDH 机制的离散 ODE 模块。COS + 结合了紧凑的通道间线性变换和统一的通道式预测 - 校正映射，实现了非线性特征演化，其参数复杂度随通道维度线性扩展，构成了 GhostODE 的基本 ODE 块。
•我们构建了具有阶段选择性空间压缩策略的 GhostODE。高层阶段的逐点卷积占模型参数的 70% 以上。通过选择性地用 Ghost 模块重建这些卷积，我们将它们的参数量减少了大约 50%；放置消融显示，在保持相当分类性能的同时，整体模型参数量减少了 37.90%。
•包括图像分类、目标检测、语义分割和真实世界边缘部署在内的广泛实验验证了 GhostODE 的效率。在移动硬件（vivo X200）上，GhostODE 达到了 FPS 的高速吞吐量。

章节片段
高效的视觉架构范式
轻量级网络的发展是由高效算子设计和架构创新驱动的。MobileNetV1 [1] 开创了深度可分离卷积，随后由 MobileNetV2-V4 [2]、[3]、[4] 通过倒残差、NAS 和硬件感知优化进行了细化。平行的探索包括 ShuffleNet [5]、[23]，它利用通道混洗来增强信息流，以及 GhostNet [6]、[7]，它通过廉价线性生成冗余特征...

MobileODE 中直接微分欧拉算法的回顾
MobileODE 中引入的直接微分欧拉（DDE）算法逐层评估 ODE 斜率，并使用一系列可学习时间增量推进中间状态。与具有固定增量的 Euler 离散化不同，这些增量通过梯度下降进行优化，以适应跨离散化层。具体而言，DDE 更新公式如下：
这里， 表示可学习时间增量。遵循 MobileODE，每个增量都通过一个...

实验
我们通过局部数值分析、受控求解器和组件比较、图像分类、目标检测、语义分割以及移动设备部署来评估 GhostODE。局部数值分析检查 DDH 的单步端点近似，而其余实验评估求解器的准确性 - 效率权衡和任务级性能。除非另有说明，GhostODE 使用 时的 DDH 更新，以及在入口处...

结论
在这项工作中，我们提出了 GhostODE，一种轻量级 ODE 架构，集成了 COS + 和阶段选择性 Ghost 压缩。COS + 建立在 DDH 之上，这是一种共享投影、启发于 Heun 的预测 - 校正更新，在两个斜率评估中复用层条件投影，而 Frozen-BN 防止临时预测状态在校正期间更新 BatchNorm 运行统计量。对 learned vector fields 的直接数值分析表明，DDH 降低了归一化的

CRediT 作者贡献声明
Pengfei Ma: 写作 – 初稿，可视化，软件，概念化。Le Yu: 验证，调查，形式分析，数据管理。Lei Zhang: 监督，调查，资金获取。Zhang Yi: 方法论，资金获取，概念化。Tao He: 写作 – 审阅与编辑，项目管理，资金获取，概念化。

利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系，这些关系可能影响本论文报告的工作。

致谢
这项工作得到了国家自然科学基金重大项目（批准号 62495064）、教育部基础学科与交叉学科突破计划（批准号 JYB2025XDXM101）、四川省自然科学基金（批准号 2026NSFSC1488）以及成都市产业链协同创新项目（批准号 2026-XT00-00018-GX）的支持。

Pengfei Ma 是四川大学计算机科学学院的大三本科生。他的研究兴趣包括计算机视觉、深度学习和机器学习。他的 GitHub 主页是 https://github.com/01LuGuang。

Pengfei Ma|Le Yu|Lei Zhang|Zhang Yi|Tao He
中国四川省成都市 610065 四川大学计算机科学学院