动态神经网络综述:从计算机视觉到多模态传感器融合

《Image and Vision Computing》:A survey on dynamic neural networks: From computer vision to multi-modal sensor fusion

【字体: 大 中 小 】 时间:2026年04月08日 来源:Image and Vision Computing 4.2

编辑推荐:

  大型计算机视觉(Computer Vision)模型在嵌入式设备上的部署离不开模型压缩。然而,静态优化技术(例如剪枝、量化等)忽视了一个事实,即不同输入具有不同复杂度,因此需要不同数量的计算。动态神经网络(Dynamic Neural Networks)允许将

  
大型计算机视觉(Computer Vision)模型在嵌入式设备上的部署离不开模型压缩。然而,静态优化技术(例如剪枝、量化等)忽视了一个事实,即不同输入具有不同复杂度,因此需要不同数量的计算。动态神经网络(Dynamic Neural Networks)允许将计算量约束于特定输入。当前关于该主题的文献极为丰富,但也较为碎片化。该综述对计算机视觉背景下现有动态神经网络研究进行了综合性梳理与统一。此外,研究人员基于网络中何种组成部分具有自适应性提出了一个逻辑分类体系:输出、自适应计算图或输入。进一步地,研究人员指出,动态神经网络在传感器融合(Sensor Fusion)场景中对提升自适应性、降低噪声和实现信息优先级分配尤为有益,并介绍了该方向上的初步工作。研究人员还配套提供了一个经策划整理的仓库,列出所有纳入综述的论文,并为每篇论文附上解决方案的简要概述以及代码库链接(若可用):https://github.com/DTU-PAS/awesome-dynn-for-cv。
该论文发表于《Image and Vision Computing》,是一篇面向计算机视觉领域的动态神经网络综述文章,核心目标是对分散发展的研究脉络进行系统整合,并进一步将其与多模态传感器融合这一尚未被充分系统化讨论的重要应用方向建立联系。文章首先立足于深度学习模型部署的现实需求展开论述。过去十余年中,卷积神经网络(CNN,卷积神经网络)与视觉Transformer(ViT,视觉变换器)推动了计算机视觉性能的显著提升,但与此同时,模型规模扩大、推理成本攀升、边缘部署受限等问题日益突出。现有主流模型压缩方法,如量化、剪枝、知识蒸馏、神经架构搜索与低秩分解等,虽然能够从总体上降低模型复杂度,但大多属于静态优化范式,默认所有输入样本应经过相同的计算流程,未考虑输入难度的差异性。论文据此指出,样本复杂度并不一致,简单样本往往无须完整模型深度即可正确识别,而困难样本则需要更多计算资源,因此引入能够按输入复杂度自适应调整计算量的动态神经网络具有明确必要性。

围绕这一问题,研究人员提出并梳理了一个清晰的分类框架,将动态神经网络归纳为三类:早退(Early Exits),即网络在中间层决定何时输出;动态路由(Dynamic Routing),即网络按输入选择不同的计算路径或专家模块;Token略读(Token Skimming),即在Transformer中动态决定哪些输入token被保留、丢弃或合并。文章进一步指出,这种“按需计算”的能力与人类视觉系统对简单与复杂场景采取不同注意资源分配的机制具有相似性。更重要的是,在多模态传感器融合中,输入不仅复杂度不一,而且不同模态会因环境变化、噪声污染、传感器失效与通信约束而呈现不同可靠性,因此动态神经网络在该场景中不仅可提升效率,还能够帮助模型动态抑制低质量模态、强化关键信息并优化预算分配。论文认为,尽管相关应用研究数量仍较少,但这一方向具有明显潜力。

从方法论上看,本文并非提出新的动态网络模型,而是对2016年1月至2025年9月间该方向文献进行系统综述与结构化总结。研究人员共回顾了163篇文献,其中包括计算机视觉中的早退、动态路由与Token略读方法,以及动态传感器融合方面的代表性研究;在此基础上构建分类树,并讨论不同方法的理论基础、结构设计、训练策略、应用任务与局限性。此外,文章还提出了一个标准化评测模板,主张未来工作同时报告性能—效率权衡曲线面积、平均计算量及其标准差、真实硬件推理速度、能耗和静态基线对照,以弥补当前文献中评测协议碎片化的问题。样本来源方面,本文为综述研究,使用的是既有公开发表论文及其报告的实验基准,而非单一实验队列。

在结果与主体内容方面,论文保留了明确的小节结构,并依次总结了不同研究分支的代表成果与发展脉络。

1. Introduction
本节建立了全文的问题背景与研究动机。研究人员指出,随着CNN和ViT广泛应用,模型效率已成为基础模型时代的重要议题;静态压缩方法无法依据输入难度动态调节计算量,而动态神经网络可通过门控(gating)或决策模块实现样本级计算弹性。研究人员同时提出,传感器融合中的多模态输入天然适合引入动态性,因为不同传感器在不同环境中的有效性并不恒定。基于此,论文明确自身贡献:提供面向计算机视觉的全面综述、建立按“输出—路径—输入”划分的分类体系、梳理动态传感器融合工作、提出标准化评测模板,并提供在线资源仓库。

2. Dynamic computer vision techniques
本节是全文主体,系统归纳了计算机视觉中的三大动态神经网络技术路线。

2.1. Early exits
本节总结了通过中间分类器实现提前输出的研究。研究人员首先给出早退网络的形式化定义,将深层网络视为若干顺序模块的复合,并在中间位置附加辅助分类头,通过置信度或熵阈值决定是退出还是继续计算。该类方法的核心结论是:早期层对于简单样本往往已足以形成可靠判别,因此适当提前终止可同时降低计算量并缓解“过度思考”现象,即深层噪声破坏浅层已正确预测的情况。

2.1.1. Architectures
本小节梳理了早退架构演化。Panda等工作最早在预训练网络中插入线性分类器;BranchyNet实现了端到端训练;MSDNet通过多尺度稠密结构提升浅层判别能力;后续又有面向ViT的DVT、面向语义分割的token级早退、Dynamic Perceiver和AdaTape等扩展。由此得出的结论是,早退机制已从CNN分类网络扩展到Transformer、分割乃至基础模型结构中,架构设计也从简单加分支发展到多尺度、多分支与跨层交互式方案。

2.1.2. Methods
本小节聚焦训练与决策改进方法。研究人员总结了若干方向:其一,退出策略优化,包括可学习门控、变分贝叶斯(Variational Bayes)建模、马尔可夫决策过程(MDP)与拒绝选项分类等;其二,损失加权方法,用于自动平衡不同出口的监督强度;其三,退出位置设计,包括出口数量与位置的优化;其四,学习方法改进,如梯度重标定、课程学习、梯度冲突缓解与中间预测复用;其五,训练—测试失配问题,即深层出口在测试时主要处理困难样本,因此训练中需加强其对困难样本的专门化;其六,自蒸馏(self-distillation),即利用末端分类器监督浅层出口;其七,Bag-of-Features、量化、分布外检测(OOD)和神经架构搜索(NAS)等相关拓展。该节结论在于,早退性能不仅取决于结构,还高度依赖退出策略、损失设计与训练稳定性。

2.1.3. Applications
本小节说明早退已被应用于目标检测、语义分割、图像描述、拥挤计数、图像生成、压缩图像增强、视频分析、点云处理、云边协同部署和脉冲神经网络等任务。研究人员据此认为,早退并非仅适用于图像分类,而是一种具有较强任务迁移性的动态计算范式。

2.2. Computational routing
本节综述动态路由方法,即根据输入自适应构造或选择计算路径。文章指出,这一方向既包括动态拼装路径,也包括在滤波器、通道、层、残差块乃至专家模块层面执行选择性激活。

2.2.1. Dynamic architectures
本小节包括动态计算路径与动态组件两类方法。前者如基于强化学习(RL)的路径选择、自组织网络、自定义拓扑选择与分辨率路径调整;后者则包括动态通道剪枝、滤波器选择、空间位置选择、层跳过、位宽分配与残差块跳过等。研究人员总结认为,这类方法的共性是将“是否计算”下沉到更细粒度的网络组成单元,从而以输入感知方式削减冗余计算。

2.2.2. Mixture of experts
本小节系统回顾混合专家(MoE)在视觉中的演化。早期工作在CNN中通过多个专家分担类别子空间,随后发展出由门控模块选择专家、按输入动态合成卷积核、引入偏置先验控制专家偏好,以及在ViT中按token分配专家等方法。研究人员还总结了ViT-MoE中的硬路由与软路由比较、多任务加速、嵌套专家结构与专家间蒸馏等进展。结论是,MoE已成为动态路由的重要实现形式,使模型能够在保持单次推理计算受控的同时扩展容量与专门化程度。

2.2.3. Applications
本小节展示动态路由已用于目标检测、语义分割、视频识别、时序动作检测、高光谱跟踪、点云配准及资源受限硬件部署,并被用于研究对抗攻击下动态模型的脆弱性。由此可见,动态路由方法兼具任务适应性与部署导向价值,但也暴露出鲁棒性和硬件实际收益之间的落差问题。

2.3. Token skimming
本节讨论Transformer中的token稀疏化。研究人员指出,图像并非所有局部区域都同等重要,因此可以通过减少token数量来提升效率。文章将其分为token丢弃与token合并两类,并强调该类方法跨领域迁移性更强,因为Transformer天然将输入视为相互作用的token集合。

2.3.1. Token dropping
本小节又分层级丢弃与逐块丢弃。层级丢弃方法如DynamicViT、ATS、A-ViT和SViTE等,通常在预定层根据重要性评分逐步删除不重要token;逐块丢弃方法则在每个Transformer块前判断哪些token参与该块计算。研究人员总结认为,这类方法能在保证关键信息保留的前提下显著降低后续自注意力(self-attention)计算负担。

2.3.2. Token merging
本小节综述将多个冗余token合并为更少表示的研究,包括Evo-ViT、E-ViT、ToMe、ToMeCIS、TPS、NEPAM、GTP等。相关工作利用注意力、余弦相似性、图传播或邻域结构来识别可合并token,并通过占位token、聚类或匹配算法压缩表示。该节结论是,相较于直接删除token,合并策略更强调信息保存与冗余压缩之间的平衡,尤其适合在尽量少损失精度的情况下提升吞吐率。

2.3.3. Other methods and applications
本小节表明token略读已拓展到语义分割、视频识别、目标检测、事件相机、目标跟踪、扩散模型和通信受限场景。研究人员据此认为,token级动态性是Transformer时代最具扩展潜力的效率优化手段之一。

3. Dynamic sensor fusion in the context of computer vision
本节是全文的一个突出贡献,专门梳理动态神经网络在传感器融合中的应用。研究人员指出,相比单模态视觉,该领域仍明显欠开发,但动态机制在其中尤其重要:其一,可依据环境和预算选择传感器组合,提高样本感知效率;其二,可在模态退化或失效时抑制噪声传播;其三,可识别并优先处理关键信息;其四,可服务于本地—边缘协同部署。与此同时,本节也明确指出该领域面临门控失准、模态主导、异步传感器同步成本高以及评测缺乏鲁棒性测试等问题。

Object detection
研究人员总结了用于目标检测的动态融合方案,如基于卷积MoE的RGB—深度—运动晚期融合、HydraFusion的上下文感知传感器选择、EcoFusion的能耗约束动态融合、ROMANUS的边缘卸载决策,以及面向RGB—红外的局部到全局专家融合。结论是,动态融合可在复杂环境中兼顾精度、能耗与时延。

Semantic segmentation
本小节介绍AdapNet、统计晚期融合和脑肿瘤分割中的token合并策略。由这些工作可见,动态融合既可作用于模态级决策,也可作用于token级表示压缩,尤其适合处理模态缺失问题。

Autonomous vision-based navigation
本小节归纳了动态融合在转向预测、单目视觉—惯性里程计与多相机视觉里程计中的应用。研究人员指出,通过软/硬融合、MoE加权与上下文重构,系统可在传感器不可靠或工况变化时提高轨迹与控制估计鲁棒性。

Other sensor fusion approaches
本小节虽超出严格视觉范围,但纳入了压力检测、医学诊断与电网攻击检测等工作。文章以此强调,动态传感器融合的思想具有跨领域普适性,特别是对低功耗嵌入式系统和高安全场景具有启发意义。

4. Discussion
讨论部分对整个领域的发展态势、共性问题与未来方向作了概括。研究人员指出,早退是最成熟也最活跃的方向,动态路由类型最多样,Token略读则因Transformer兴起而快速发展,动态传感器融合近期再度获得关注。论文最重要的讨论贡献之一,是提出标准化评测模板。研究人员认为,未来报告结果时应至少覆盖四个维度:性能—效率权衡、理论复杂度与真实硬件效率之间的差异、动态性量化、与静态骨干的公平对比。文中进一步指出,当前动态神经网络仍面临训练稳定性、收敛困难、部署框架支持不足、计算量难以精准控制以及对抗鲁棒性研究不足等限制。未来值得推进的方向包括:建立统一基准、提升架构无关性、面向大模型微调引入动态性、改进门控学习机制、关注少样本类别,以及深入探索动态传感器融合中的异步流处理、粒度自适应和安全可信问题。

结论部分可译为如下:
本综述对163种面向计算机视觉的动态神经网络方法及其在传感器融合中的应用进行了全面分析。研究人员提出了一种依据网络中自适应组成部分划分的分类体系:早退(输出层面)、动态路由(路径层面)和Token略读(输入层面)。此外,论文分析了这些架构在多模态任务中的特定优势,并通过一个全面且持续更新的实现仓库为后续研究提供支持。凡是根据输入复杂度约束网络输出位置的方法,均被归入早退部分,其中概述了最重要的架构设计、训练改进方法及其具体应用。随后,论文综述了动态路由技术,即通过在线构造计算路径或将计算路由到不同模型模块来实现自适应推理,并总结了其在多类任务中的应用。最后,在Token略读部分,论文聚焦于Transformer模型,讨论了依据token对目标任务贡献度的估计而对token进行丢弃或合并的方法,并介绍了其在图像分类之外任务中的扩展应用。在论文后半部分,研究人员论证了传感器融合能够在多个方面受益于这些自适应技术,包括提升效率、缓解环境变化带来的噪声影响,以及按设计优先处理关键信息。论文还讨论了当前局限与未来方向,并特别强调:Token略读已可在ImageNet上进行直接比较,而早退与动态路由仍缺乏共享标准。为解决评测协议不统一的问题,论文提出了标准化评测模板,以期为未来跨方法学的公平、严格比较提供依据。总体而言,研究人员希望该综述能够通过提供面向计算机视觉的清晰分类框架,并强调其在传感器融合中的适用性,推动动态神经网络领域的进一步发展。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号