基于观察器的软体操纵器控制:考虑滞后弹性效应
作者:Afonso Dias, Kaiwen Chen, Enrico Franco
《Applied Sciences》:Observer-Based Control of Soft Manipulators with Hysteretic Elasticity
Afonso Dias,
Kaiwen Chen and
Enrico Franco
【字体:
大
中
小
】
时间:2026年04月15日
来源:Applied Sciences 2.5
编辑推荐:
摘要 可微分神经架构搜索(Differentiable Neural Architecture Search, NAS)作为一种强大的自动化网络设计范式已经崭露头角,但它存在一个根本的优化不一致性问题:在连续松弛条件下优化的架构在离散化后往往无法保持其性能
摘要 可微分神经架构搜索(Differentiable Neural Architecture Search, NAS)作为一种强大的自动化网络设计范式已经崭露头角,但它存在一个根本的优化不一致性问题:在连续松弛条件下优化的架构在离散化后往往无法保持其性能。为了解决这一挑战,我们提出了Fisher-DARTS——一个基于费舍尔信息(Fisher information)的可微分NAS框架。该框架引入了三项关键创新:(1)一种基于费舍尔信息的动量更新机制,引导架构参数朝统计上显著的操作方向发展,使搜索目标与离散部署保持一致;(2)一种渐进式的三区域剪枝策略,能够自适应地消除费舍尔信息较低的高效用操作,确保架构的紧凑性;(3)一个单元权重融合模块,能够在堆叠的单元之间保留多尺度特征。此外,通过结合注意力机制(attention mechanisms),搜索空间得到了扩展,从而提升了特征表示能力。所提出的框架具有通用性,适用于广泛的视觉任务。为了验证其有效性,我们将其应用于注视估计(gaze estimation)——这是多模态人机交互(multimodal human–computer interaction)中的核心技术。在三个公开数据集MPIIFaceGaze、RT-GENE和ETH-XGaze上的实验结果表明,Fisher-DARTS的平均角度误差分别为3.22°、5.45°和4.12°,优于手工设计的网络和现有的基于NAS的注视估计模型。这些结果证明了所提出的基于费舍尔信息的NAS框架的有效性及其在不同场景下的泛化能力。
1. 引言 注视(gaze)作为一种关键的非言语交流线索,包含了揭示人类意图、理解认知[1,2]和解释行为[3,4]的宝贵信息。在各种应用中,注视可以有多种表示方式,其中注视方向是一种普遍且基本的表示方法。它被定义为一个从眼中心出发并指向注视目标的三维单位向量。这种表示在扩展现实(extended reality, XR)设备[5,6]中具有显著潜力,因为系统可以根据估计的注视方向在三维空间中定位用户的注视目标。通过将注视方向映射到特定平面(如屏幕),可以将其转换为该平面上的注视点。注视点在人机交互[7,8]中被广泛用于直观地识别用户对界面的关注区域。此外,注视信息还可以以注意力热图(attention heatmaps)的形式用于行为分析[9]或作为对象/人物跟踪[10,11]的跟踪目标。因此,实现高精度的注视估计是确保所有上述应用可靠运行的基础。
现有的注视估计方法大致可以分为两类:基于3D眼模型恢复的方法和基于外观的方法。基于3D眼模型恢复的方法构建几何3D眼模型,并根据这些模型估计注视方向。尽管这种方法通常能实现高精度估计,但它需要额外的专业设备辅助,且构建的3D模型通常是针对个体定制的,导致泛化性能较差[12]。基于外观的方法直接学习图像与注视方向之间的非线性映射,现在已成为注视估计领域的主流方法。
在基于外观的注视估计方法中,由卷积神经网络(Convolutional Neural Networks, CNNs)表示的深度学习网络展现了出色的性能,显著提高了任务准确性。当前的主流范式通常采用通用深度网络,如VGGNet[13]、GoogLeNet[14]、ResNet[15]或最近的架构如Transformer[16]和Vision Transformer[17]作为特征提取的骨干,并为特定场景设计专门的预测头以完成估计。通过对近年来前沿注视估计模型的分析可以发现,这项任务的核心挑战仍然在于模型对面部拍摄角度变化和部分遮挡(或环境背景信息的干扰)的过度敏感,这导致识别准确性的显著波动以及在不同数据集上的泛化能力不足。现有研究通常从以下三个角度寻求突破:首先,引入注意力机制[18]以增强模型对关键注视区域的自适应聚焦能力;其次,采用特定的改进模块(如膨胀卷积[dilated convolution][19]来增强模型捕捉由面部角度变化引起的微妙注视模式差异的能力;第三,设计级联骨干网络[20]通过整合多尺度感受野的特征来提高估计精度。
然而,上述方案的实现细节,如注意力模块的放置、膨胀卷积的超参数设置以及级联网络的拓扑连接方法,往往高度依赖于研究人员的经验和反复试验。这种基于人类启发的设计范式不仅使得系统地探索最佳架构组合变得困难,还限制了模型的性能上限,使其受预设的结构假设和设计者主观经验的限制,因此在突破现有精度瓶颈时面临固有的局限性。本质上,网络架构设计是推动性能提升的核心引擎,但优秀的设计往往需要深厚的领域知识和高昂的试错成本。近年来,神经架构搜索(NAS)的兴起推动了这一领域的范式转变。研究人员将重点从复杂的手动设计转向了网络结构设计的自动化。NAS不仅解放了研究人员繁重的设计工作,还使搜索到的架构能够达到甚至超越顶级手动设计网络的精度,为实现更好的注视估计模型提供了新的自动化路径。
基于此,本文提出了一种基于费舍尔信息(Fisher information)的可微分神经架构搜索框架,名为Fisher-DARTS(Differentiable ARchiTecture Search),这是一种基于单元架构搜索范式的改进方案。首先,通过将传统的链式堆叠输出模式替换为加权融合输出,网络中的每个单元都可以直接参与最终预测,从而增强了模型对多尺度感受野特征的协作捕获能力。其次,引入费舍尔信息作为更新架构参数的基础,利用其统计特性来衡量每个候选操作对模型任务的贡献。这将DARTS固有的复杂双级优化问题转变为具有统一目标的单路径优化过程,解决了此类方法中由于优化目标不一致导致的评估偏差问题,使搜索过程更加稳定,并提高了最终模型的泛化性能。此外,基于这一机制,设计了一种三区域费舍尔动态剪枝策略,在搜索过程中持续监控并逐步消除贡献始终较低的冗余操作,动态减少搜索空间,提高搜索效率,并将计算资源集中在更有前途的子空间上。这有效地抑制了过拟合和噪声干扰,增强了模型在复杂现实场景中的鲁棒性和准确性。最后,关于注意力机制和特定改进模块(如膨胀卷积)的最佳插入位置,本文通过将各种轻量级的、即插即用的通道和空间注意力机制作为可搜索操作纳入单元的候选操作集中,扩展了搜索空间。通过可微分搜索,模型可以自动学习在架构中何处以及以何种组合形式插入注意力模块和特定改进模块,从而实现了注意力配置的自动化和优化,增强了模型对关键兴趣区域的自适应聚焦能力。
本文的主要贡献如下:
- 加权单元融合旨在减轻由链式堆叠单元引起的信息损失。
- 引入费舍尔信息来指导架构搜索,解决了类似DARTS的方法的优化不一致性问题。
- 三区域费舍尔动态剪枝策略旨在高效聚焦于潜在子空间并抑制过拟合。
- 扩展了搜索空间,并提升了模型的表达能力上限。
- 在多个注视数据集上的大量实验表明,该方法表现良好。
本文的其余部分组织如下:第二部分介绍了注视估计和神经架构搜索方法的背景和相关工作。第三部分详细阐述了所提出的Fisher-DARTS框架的构建过程。第四部分提供了该方法的详细实验结果。第五部分讨论了这项工作的优势和应用,同时也探讨了潜在的局限性。最后,第六部分总结了这项研究。
2. 相关工作
2.1. 注视估计
我们回顾了注视估计方法的重要进展。现有的注视估计方法主要可以分为基于3D眼模型恢复的方法和基于外观的方法。
基于3D眼模型恢复的方法主要依赖于计算机视觉和几何建模技术,在深度学习兴起之前奠定了坚实的理论基础。这些研究通常涉及精确的眼部特征点检测和复杂的几何计算。Beyman等人[21]使用双目(立体)相机系统主动跟踪眼球,通过三角测量直接计算眼球在三维空间中的位置和方向。Morimoto等人[22]使用多个光源在角膜上生成Purtscher斑点,并通过计算瞳孔中心与这些反射斑点之间的相对位置变化来准确估计注视方向。Chen J等人[23]提出了一种基于单摄像头面部特征跟踪的3D注视估计和跟踪算法,利用跟踪到的面部特征点来估计3D光轴,然后确定注视点。这类方法依赖于对眼睛关键生理特征(如瞳孔中心、角膜反射斑点和虹膜轮廓)的精确检测和校正。这种方法不仅对成像设备(通常依赖于可控光源,如近红外光)的准确性和稳定性有严格要求,而且由于个体间眼睛结构的生理差异,限制了模型的泛化能力,使其难以在不受约束的自然场景中稳定应用。
与依赖精确几何建模的3D眼建模方法不同,基于外观的注视估计方法直接使用面部图像作为输入,并利用深度学习表示的机器学习模型自动学习和提取与注视方向相关的强健判别特征,从而实现了端到端的高精度注视估计。Chen H等人[18]设计了一个基于连续掩码的解耦器,将注视相关信息与面部图像分离,并引入了一个级联注意力模块,协同关注多尺度的全局和局部特征,最终融合面部特征与头部姿态以实现高精度估计。Chen Z等人[19]使用膨胀卷积而不是标准卷积层来提取高级语义特征,同时保持空间分辨率,有效提高了注视估计的鲁棒性。Huang G等人[20]构建了一个受注意力引导的级联变分自编码器,通过生成图像重建来辅助判别性注视估计任务,从而提高了模型的泛化能力。Pan Z等人[24]整合了一个多头注意力机制,通过融合全局面部特征和局部双目特征等多维信息来提高估计精度。Hu D等人[25]根据特征相似性计算自适应注意力权重,并使用多任务损失函数进行联合优化,进一步指导模型实现高精度注视估计。Ryan F等人[26]简化了传统方法中场景编码器、头部编码器和辅助模型的复杂融合过程,采用基于Transformer框架和轻量级解码器模块来实现高效注视估计。Huang S等人[27]利用了浅层特征在注视估计中的关键作用,并设计了基于多尺度通道-空间注意力的层次化细粒度注意力解码器。Shou Z等人[28]将SCConv整合到ResNet中,构建了一个ResNetSC特征提取骨干,有效减少了空间和通道的冗余。
然而,这些方法的性能提升在很大程度上受到其预定义网络架构的限制。无论是注意力模块的插入方法、膨胀卷积的参数配置,还是级联结构和损失函数的设计,它们都依赖于大量的手动先验和反复试验,使得系统地探索最佳架构组合变得困难,从而限制了模型性能的进一步突破。
2.2.神经架构搜索(NAS)是一种用于自动设计神经网络架构的技术,其核心目标是替代传统的基于专家经验的手动设计模式,通过算法自动探索更好的网络结构。近年来,神经架构搜索技术在核心计算机视觉任务中展现出了显著的工程实践价值,涵盖了图像分类、语义分割、目标检测和生成对抗网络等领域,并在多个标准测试任务中不断创造新的性能基准。NAS-RL [29] 将神经网络的架构描述为一个可变长度的字符串,使用 RNN [30] 作为控制器,并通过 REINFORCE [31] 算法优化控制器,逐步生成令人满意的神经架构。Large-Scale Evolution [32] 利用进化算法通过变异(添加/删除层、修改超参数)和选择(基于验证准确性)来迭代优化架构群体。BlockQNN [33] 采用基于 Q 学习的代理模型以自上而下的方式构建网络。尽管这些方法证明了自动架构搜索的可行性,但计算成本非常高昂(通常需要数千个 GPU 日),严重限制了实际应用。此外,它们大多使用链式结构空间,使得发现复杂的拓扑结构变得困难。NASNet [34] 通过搜索可重复的计算单元并将它们堆叠成网络,解决了链式结构中模型表达能力不足的问题,但搜索成本仍然很高。ENAS [35] 首次系统地引入了权重共享的概念,在超网络中采样不同的子网络并共享权重,大大减少了搜索时间。这类方法的局限性在于它们的“权重共享”机制,虽然显著提高了搜索效率,但引入了评估偏差、优化冲突和网络表达能力受限等问题。DARTS [36] 将架构选择表示为连续变量,受到权重共享模型的启发,通过梯度下降联合优化网络权重和架构参数。这种方法显著提高了搜索效率,但引入了优化不一致的问题(在搜索过程中使用混合操作,在部署过程中使用单一操作)。P-DARTS [37] 采用逐步搜索策略,随着训练的进行逐渐增加网络深度并修剪操作空间,提高了模型的鲁棒性。然而,存在深度差距问题,即在浅层网络中找到的最优操作可能在深层网络中不是最优的,而且优化也是基于架构参数的,这没有解决优化不一致的问题。Fair DARTS [38] 在 DARTS 中使用 Sigmoid [39] 替代 Softmax,允许多个操作同时在一条边上激活,支持节点之间的协同操作,提高了搜索稳定性,并引入了边正规化来简化离散化架构的过程。然而,它可能会引入冗余操作,并且没有解决优化不一致的问题。GDAS [40] 在搜索阶段基于 Gumbel Softmax [41] 执行单次前向采样。搜索完成后,可以根据最大概率直接选择操作,解决了搜索和评估之间的一致性问题,并节省了内存和计算成本。然而,采样可能带来高方差和不稳定性,且评估是局部和零碎的。Zhou Y 等人 [42] 引入了一个平滑激活函数作为架构权重的辅助损失,以抑制跳过连接等无权操作的不公平优势,旨在减轻由跳过连接主导导致的性能崩溃。然而,这种方法未能解决 DARTS 类方法中固有的优化不一致问题。Liu W 等人 [43] 将离散化过程整合到架构参数训练阶段,使用粗略的梯度加权算法更新架构参数,最小化连续参数和离散参数之间的差异。尽管如此,他们的更新过程仍然依赖于梯度下降,并缺乏统计可解释性。Wang Y 等人 [44] 利用变分dropout 实现超网络稀疏化,通过半隐式变分dropout 抑制跳过连接的过度选择,增强了搜索稳定性。然而,这种方法基于概率采样选择操作,导致搜索和评估阶段之间存在结构差距。基于上述背景,NAS 技术逐渐被引入到注视估计领域,以实现更高效专用架构的自动化设计。例如,LiteGaze [45] 借鉴 OFA [46] 的训练搜索解耦范式,通过训练超网络和架构收缩在边缘设备上实现高效部署。然而,其性能受到共享权重可能不是每个子网的最优解这一事实的限制,且训练超网络的成本很高。GazeNAS-ETH [47] 遵循 HR-NAS [48] 的方法,将 Transformer 模块纳入搜索空间以增强全局特征捕获能力,并使用逐步收缩的可微方法进行搜索。然而,这种方法仍未充分考虑并解决可微 NAS 中常见的优化不一致问题,这可能限制了最终架构的性能上限。鉴于此,本文重点关注 NAS 方法在优化注视估计的一致性和泛化准确性方面的核心瓶颈,并提出了一种基于 Fisher 信息的可微搜索框架 Fisher-DARTS。该框架旨在通过稳定和一致的架构优化机制突破现有注视估计模型的准确性限制,为 DARTS 基方法长期存在的优化不一致问题提供有效解决方案。
在架构层面,现有的 NAS 方法通常通过以链式方式堆叠单元来构建网络,这导致随着网络深度的增加,浅层特征在正向传播过程中逐渐稀释。为了解决这个问题,Fisher-DARTS 引入了基于单元的加权融合策略,突破了传统基于链的堆叠中的信息衰减瓶颈,使得浅层细节特征能够有效地传输到更深层次。在优化层面,现有的 DARTS 方法及其变体主要依赖架构参数来选择最终操作,导致搜索过程不稳定和优化不一致问题——搜索阶段在每条边上优化混合操作,而评估阶段使用离散的单一操作。由于 Fisher 信息衡量概率分布对参数变化的敏感性,因此可以自然地将它解释为每一层每个操作的敏感性和重要性。基于这一洞察,Fisher-DARTS 利用 Fisher 信息来指导架构参数的更新,消除了单独基于梯度下降优化的需要。相反,架构参数根据与每个操作相关的 Fisher 信息进行更新,从而将 DARTS 类方法固有的双层优化问题(联合优化架构参数和网络权重)转化为单路径优化问题(仅优化网络权重)。这解决了优化不一致问题,并允许根据 Fisher 信息动态修剪搜索空间,及时消除贡献较小的操作。在建模能力层面,现有的 NAS 搜索空间主要由卷积、池化和跳过连接等局部操作组成,缺乏建模全局上下文的能力。为了解决这一限制,本文将注意力机制(例如通道注意力、空间注意力)纳入搜索空间,使搜索到的网络能够适应性地融合局部细节和全局上下文信息。以下部分提供了所提出方法的详细描述。
3. 材料与方法
3.1. 加权单元融合
基于单元的神经架构搜索方法是现代 NAS 的主流范式,其核心思想是搜索一个小的、可堆叠的计算单元,而不是直接搜索整个大型网络。该方法在效率、泛化和迁移能力方面带来了革命性的改进。基于单元的方法的示意图如图 1 所示。在基于单元的架构搜索范式中,尽管可以在单元内部学习复杂的连接拓扑,但网络的总体构建仍然采用简单的链式堆叠规则。这种模式只允许最后一个单元的输出参与最终预测,忽略了不同深度单元携带的多尺度感受野特征,导致在传输过程中丢失丰富的中间层信息。为了解决这个问题,整合多个单元的输出已成为一种直接有效的改进方法。开创性的工作如 NASNet 通过实验表明,对多个模块的输出进行求和平均比简单的通道串联产生更好的结果。受此启发,本文引入了可学习的自适应权重来加权并融合来自不同层次的单元输出,增强了网络整合多尺度特征的能力,确保所有层次的单元都对最终决策有所贡献,从而充分利用了搜索获得的架构的表达潜力。改进后的整体模型的示意图如图 2 所示。图中 ???? 是每个单元的可学习权重。灰色的 Conv 块是一个用于整合空间尺度的卷积模块,包括 1 × 1 卷积层、正则化层和 ReLU 层,⊕ 表示每个分支的加权逐元素求和操作。
3.2. Fisher-DARTS 搜索框架
DARTS 搜索框架是 NAS 历史过程中的一个里程碑式工作,它将架构选择放宽为连续变量;共享一个父类,即超网络;所有候选架构作为子网络共享父类权重。通过梯度下降,网络权重和架构参数 ?? 被联合优化。训练完成后,最终架构通过 arg??????????(??) 选出来。DARTS 方法的示意图如图 3 所示。(a) 边上的操作最初是未知的;(b) 通过在每条边上放置混合操作来连续放松搜索空间;(c) 通过解决双层优化问题来联合优化混合概率和网络权重;(d) 从学习到的混合概率中诱导出最终架构。其中,子图 (a) 中的“?” 表示在初始阶段每条边上的操作是未知的。子图 (b) 中不同颜色的实线表示在搜索过程中使用混合操作进行前向传播。在子图 (c) 中,虚线从细到粗,表示混合操作中每个子操作的权重从小到大递增。实线对应于权重最高的子操作。子图 (d) 中的单条实线表示从学习到的架构参数中派生的每条边上的最终操作。具体算法如下:
在算法 1 中,??(??,??) 是边 (??,??) 的架构参数,?? 是架构参数的优化学习率,?? 是当前的架构权重。设 ?? 为候选操作集,混合操作 ???(??,??) 的放松方法如方程 (1) 所示:
???(??,??)?(??)=1∑??′∈??exp?(??(??,??)??′)?∑??∈??exp?(??(??,??)??)????(??)
由于难以准确评估架构优化步骤,DARTS 仅使用一个训练步骤来近似 ??*?(??)。这种方法显著提高了搜索效率,但引入了优化不一致的问题,即在训练过程中优化多个混合操作,而在测试过程中选择离散的单一操作。在混合模型中具有高贡献值(?? 值高)的操作单独使用时可能表现不佳,且 ?? 与网络权重 ?? 相互优化。当 ?? 未完全训练时,?? 的梯度可能有噪声,导致 ?? 的排序不可靠。
算法 1 DARTS
创建一个由 ??(??,??) 参数化的混合操作
对于每条边 (??,??),在未收敛时执行以下操作:
1. 通过下降梯度 ??????????????(?? ???????????????????????(??,??) 来更新架构 ??
2. 通过下降梯度 ????????????????????(??,??) 来更新权重 ??
根据学习到的 ?? 来推导最终架构
Fisher 信息为量化概率模型参数中包含的信息提供了严格的数学基础。其核心在于衡量模型参数变化对模型整体概率分布的敏感性。对于一个由参数向量?? ∈???参数化的概率模型???(??|??;??)(例如深度分类网络),其评分函数定义为关于参数的对数似然梯度,如方程(2)所示。???(??)=???log????(??|??;??) (2)评分函数用于衡量参数发生微小变化时似然函数的瞬时变化率。费希尔信息矩阵???(??)被定义为评分函数的协方差矩阵,如方程(3)所示。???(??)=????,??~??????????????[???(??)????(??)??]=???[???log????(??|???;??)???log????(??|???;??)??] (3)矩阵???(??)的(??,??)元素衡量了参数????和????变化的耦合效应。对角元素????????(??)如方程(4)所示。????????(??)=???[(?log????(??|???;??)?????)2] (4)???????量化了参数????的局部重要性。其值越大,该参数引起的模型输出分布变化越剧烈。因此,这个参数包含更多用于区分数据的信息,也更为重要。将费希尔信息纳入以指导架构参数更新的优点体现在以下三个方面:首先,在类似DARTS的方法中,基于小批量数据估计验证集上的梯度?????????????,因此具有较大的方差;某些架构参数的梯度可能数值很大,但由于随机性可能不反映真正的优化方向。费希尔信息衡量了架构参数对数据分布的敏感性,并且与统计中梯度估计的稳定性密切相关:费希尔信息较大的参数在梯度估计中的方差较小,从而得到更可靠的优化方向;而费希尔信息较小的参数则方差较大,更新不够可靠。因此,利用费希尔信息可以有效地减少不可靠梯度对架构参数更新的干扰,从而提高搜索稳定性。其次,类似DARTS的方法中架构参数的更新轨迹缺乏统计意义,从信息论的角度难以解释为什么最终选择了某个操作;而费希尔信息直接量化了操作分布变化对网络输出的影响,提供了明确的信息论意义。最后,费希尔信息提供了参数估计的最小方差下界,即克拉美-罗ao界限,如方程(5)所示。?????????(^??)≥1???(??*) (5)其中,^??是在搜索过程中获得的架构参数,??*是最优架构参数,???(??*)是对应于最优架构参数的费希尔信息值。克拉美-罗ao界限表明,???(??*)越大,^??的方差下界越小,说明该操作的重要性在统计上显著,且这种重要性不依赖于是否存在其他操作。换句话说,即使这些操作独立于混合网络,具有高费希尔值的操作也能保持其性能,从而解决了类似DARTS方法固有的优化不一致性问题。基于此,本文采用费希尔信息作为更新DARTS架构参数的核心标准,以指导最优离散化网络架构的生成。在这个框架中,每个候选操作的费希尔信息值量化了其对最终模型性能的贡献。值越高,该操作对整体架构的影响越关键,因此应在离散化过程中保留它。传统基于DARTS的方法采用的双层优化范式是架构搜索阶段与最终评估阶段目标不一致的根本原因。为此,本文利用费希尔信息来实现架构离散化决策,将复杂的双层优化问题转化为具有统一目标的单路径优化过程,使模型的优化目标与搜索期间的最终评估目标保持一致。此外,通过费希尔信息这种可解释的统计量,增强了生成架构的设计透明度和可解释性。然而,直接将费希尔矩阵应用于NAS场景可能会导致计算复杂性急剧增加,因为完整的???(??)具有高维度,而定义的E?[ ?]期望值基于真实数据分布。为了解决上述问题,本文采用了基于验证集独立样本的经验费希尔信息对角近似估计。经验费希尔信息对角近似公式如方程(6)所示。^???????≈1?????∑??=1(?log????(????|?????;??)?????)2=?1?????∑??=1(??(??)??)2 (6)其中,??(??)??是通过在批量样本中对边??应用操作??获得的梯度信息。下面展示了提出的Fisher-DARTS算法。在算法2中,??是平滑动量系数,??是温度系数。算法2 Fisher-DARTS 构建一个超网络并均匀初始化架构参数?? 当未收敛时 ??????????通过下降????????????????????(??,??)来更新权重 ? ? ? ??根据方程(5)计算费希尔信息?? ? ? ? ??通过动量更新?? ??????????? +(1 ???) ??????????????????????(?? ???)来更新架构????基于??引导生成最终离散架构 3.3 三区域费希尔动态剪枝在基于DARTS方法的搜索阶段,架构参数??通过Softmax进行归一化,以定义每个候选操作在混合边上的概率分布。理论上,这种分布在搜索的后期应该变得更清晰,以明确指示最优操作。然而,在实践中,大多数操作的概率可能只有10^-3甚至更低,无限接近零但理论上不为零。这意味着在混合操作的输出????(??)中,它们仍然以极小的权重参与前向计算,实际中不会被采用。因此,本文重用计算出的费希尔信息作为动态剪枝的决策依据。费希尔信息衡量了每个操作在当前网络状态下对损失函数的敏感性(即重要性)。通过实时监控费希尔值,可以决定在训练过程中是否立即移除贡献较小的操作,从而实现搜索空间的在线压缩。随着搜索的进行,资源和优化关注点逐渐集中在潜力更高的操作子集上。然而,费希尔值本身是动态的:它反映了当前优化过程中的敏感性,随着网络权重的演变,之前被判断为“不重要”的操作的费希尔值可能会在未来回升。为了处理这种时间变化特性,本文设计了一个三区域费希尔动态剪枝算法。该算法将每个边上的候选操作划分为三个管理区域:活动区域、观察区域和移除区域。活动区域包含当前参与正常训练和前向传播的操作。观察区域用于管理暂时被认为是多余的操作。为了避免因完全冻结权重而导致的评估失真,本文采用了一种渐进式的稀疏机制。即在训练期间,观察区域中的操作只有以低概率(例如?? =0.2)参与前向传播和权重更新,以便它们的权重与网络状态保持同步。在这种稀疏参与状态下,根据预定周期总结并计算平均费希尔值,作为其潜在贡献的连续评估依据。如果其平均费希尔值显著增加,它将被重新纳入活动区域;如果贡献保持较低,则会被转移到移除区域。移除区域包含经过多轮评估后被确定持续多余的操作,并将被永久移除。通过这三个区域的动态调度和迁移,算法可以持续释放被冗余操作占用的计算资源,同时保持对搜索过程动态变化的适应性,避免因过早剪枝而错过潜在的有效操作,确保优化关注始终集中在最有希望的搜索子空间上。三个区域的示意图如图4所示。图4. 三区域示意图。其中,每个候选操作???????都与一个费希尔队列????相关联,用于平滑波动,以及一个记录其进入观察区域时状态的瞬时费希尔值???????。在预热期结束后,所有操作最初都放置在活动区域。算法定期执行两个步骤:步骤1计算活动区域中每个操作的费希尔队列平均值。如果一个操作同时满足“当前边上平均值最低”、“低于预设阈值”以及“队列趋势斜率为负”的三个条件,它将被移入观察区域,并记录此时的???????。步骤2评估观察区域中的操作并计算其当前的费希尔队列平均值。如果该值大于???????的设定乘数,则将其复活并移回活动区域;否则,它将被保留。如果同一操作在连续多次步骤2评估后仍然位于观察区域,它将被永久移至移除区域,此时只需维护操作索引,不再进行费希尔值的维护或更新。具体算法如下。在算法3中,???????是操作移入观察区域时的瞬时费希尔值。步骤1和2仅适用于活动区域中的操作,而步骤3适用于所有操作,观察区域中的操作根据采样率参与。算法3 Fisher-DARTS与三区域剪枝 构建一个超网络并均匀初始化架构参数?? 设置预热期?????????????、剪枝间隔??、剪枝阈值??、恢复乘数??、持久性阈值??、观察采样率?????????? 所有操作都在活动区域。每个活动操作维护一个费希尔队列????进行平滑 当未收敛时????????1. 通过下降????????????????????(??,??)来更新权重??????????2. 根据方程(5)计算费希尔信息??并更新??????????????3. 通过动量更新?? ??????????? +(1 ???) ??????????????????????(?? ?????????????(??))来更新架构?? ????????如果epoch > ?????????????且epoch % ?? = 0,则????????????????4. 剪枝:????????????????活动 → 观察:如果????????????(????) ? ????????且趋势 < 0????????????????观察 → 活动:如果????????????(????) >?? ???????? ????????????????观察 → 移除:如果持续??次评估????????结束 如果????????5. 观察区域采样:对于观察区域中的操作,以概率??????????参与前向/后向(每个周期应用一次)??基于??引导生成最终离散架构 3.4 搜索空间的扩展现有的经典NAS方法通常在预定义的搜索空间中使用基本的卷积层作为元操作,这在一定程度上限制了模型性能的优化上限。相比之下,即插即用的注意力机制可以实现网络中关键信息的动态自适应聚焦。目前,许多研究已将各种注意力机制引入了注视估计模型中,有些还尝试植入特定的改进模块。然而,这些方法中注意力模块的插入位置和改进模块的超参数设置大多依赖于手动经验,未能充分利用它们的理论潜力,从而限制了模型估计性能的进一步改进。因此,除了传统的基本卷积层外,本文还将近年来广泛使用的各种通道和空间注意力模块纳入可搜索的元操作集中。通过构建混合搜索空间,算法可以自动学习注意力模块和基础层的最佳组合和放置策略。扩展后的完整搜索空间组成如表1所示。其中,以“n_”开头的操作是保持空间规模的操作,而以“r_”开头的操作是减少空间规模的操作。表1. 扩展后的搜索空间。3.5 完整的Fisher-DARTS Fisher-DARTS的完整算法流程如图5所示。Fisher DARTS算法包括两个阶段:搜索和训练。在搜索阶段,首先均匀初始化架构参数??,以确保每个候选操作在初始阶段获得平等的更新机会。在每一轮训练中,根据当前的??对每条边上的操作应用软混合加权,完成前向传播并计算训练损失,然后更新网络权重。基于前向传播得到的损失,求解每个操作对应的梯度,并计算费舍尔信息(Fisher information),同时记录累积统计量。通过使用费舍尔信息的动量机制(momentum mechanism)更新架构参数??。在热身阶段之后,每五轮会对搜索空间进行三次区域剪枝(three-region pruning),以去除统计贡献显著较低的操作。需要注意的是,搜索阶段的前三个步骤是从热身期开始的,而剪枝操作是在热身完成后进行的。这是因为需要积累费舍尔信息,且剪枝决策依赖于足够的历史数据以确保统计稳定性。搜索完成后,根据通过费舍尔信息动量更新收敛的最终架构参数??来确定最优单元结构(optimal unit structure),并据此构建完整的网络。在训练阶段,从零开始对完整的网络进行训练和评估。图5展示了Fisher-DARTS的完整算法流程图。
4. 结果
4.1. 数据采集
本实验使用了三个数据集MPIIFaceGaze [53]、RT-GENE [54] 和 ETH-XGaze [55] 进行性能评估。MPIIFaceGaze 是 MPIIGaze [56] 的扩展版本,它通过笔记本电脑摄像头收集了15名受试者在不受限制环境中的1280 × 720像素的面部图像(尽管面部比例不一致,但本文在实验中统一进行了裁剪),总计45K张图像,涵盖了多样的光照、表情和自然头部姿势。RT-GENE 数据集包含122K张224 × 224像素的面部图像,来自15名佩戴眼动追踪眼镜的受试者(其中两人被记录了两次),拍摄距离从0.5到2.9米不等,头部姿势有显著变化。ETH-XGaze 拥有超过100万张224 × 224像素的面部图像,涵盖了不同年龄、性别和种族的110名受试者。其头部姿势和视线范围非常广泛。图6展示了从每个数据集中提取的代表性样本图像。
4.2. 设置和环境
实验中使用的硬件配置和运行时参数详细列在表2中。
在搜索模型的训练阶段,超参数设置如下:网络权重的初始学习率为0.025,使用余弦退火调度(cosine annealing scheduling),权重优化器为SGD,动量为0.9,权重衰减为3 × 10??,批量大小为16,搜索周期为50个 epoch,热身期为10个 epoch,架构学习率为1(表2中的??),费舍尔平滑动量系数为0.9,剪枝间隔为5个 epoch,观察区域采样率??为0.2,剪枝阈值为0.4 ×(边缘平均费舍尔值),操作复活预设乘数为1.5。
4.3. 评估指标
在注视方向回归任务中,通常使用平均角度误差(Mean Angle Error,MAE)作为评估指标,它定义为预测注视方向与真实注视方向之间的三维空间角度偏差。给定一个包含??个样本的测试集,设???? =(????,????,????)为第??个样本的真实注视方向单位向量,^???? =(^????,^????,^????)为相应的预测注视方向单位向量。计算MAE的公式如下:
????????=1?????∑??=1arccos?(?????^????+?????^????+?????^????)
4.4. 最优单元和架构
本文中单元的基本设置与DARTS一致,每个单元包含4个节点,每个节点的输入可以是前两个节点的任意组合。搜索基于MPIIFaceGaze数据集。图7展示了Fisher-DARTS找到的常规单元结构,图8展示了简化单元结构。
值得注意的是,在简化单元中,只有连接到前一个单元的边才会具有下采样层,即r类操作(r-class operations),以防止简化单元中两次下采样操作导致的信息丢失。在三个区域的最终费舍尔剪枝之后,包含在移除区域(Removal Area)中的操作包括恒等操作(identity)、conv_5 × 5和sep_conv_1 × 1。可能的原因是简单的跳过连接对应较低的费舍尔值,conv_5 × 5层参数较多但回报较低,而sep_conv_1 × 1层的感受野太小。
图7和图8中的绿色方块表示当前单元之前的两个任意单元结构。从0到4标记的蓝色方块代表当前单元内的四个节点。黄色方块表示当前单元的输出节点。
图9展示了最终模型结构图。其中,⊕表示每个分支的加权逐元素求和操作。主干层由一个步长为2的3 × 3卷积层组成,其后是一个归一化层和一个ReLU层。AdaptivePool是一个自适应池化层,用于对齐每个单元输出的空间维度。Conv由一个1 × 1卷积层、一个归一化层和一个ReLU层组成,用于对齐单元输出的通道维度。AvgPool是一个全局池化层,FC是一个全连接层,最终输出是一个3D注视方向。
4.5. 横向实验
本文比较和分析了基于手动设计的经典模型以及基于神经架构搜索的自动化模型在注视估计数据集上的性能。不同数据集上每种模型的MAE比较结果如表3所示。
从表3可以看出,无论是基于手动设计的经典模型还是基于NAS的DARTS搜索框架,本文提出的Fisher-DARTS方法在三个主流注视估计数据集上都获得了最低的MAE,证明了Fisher-DARTS搜索框架具有良好的泛化能力和可靠的性能优势。
为了展示模型性能,图10展示了不同模型在各种条件下的注视估计的部分定性可视化结果(例如,典型条件、眼镜遮挡、变化的光照和头部姿态)。图10中,绿色箭头表示真实注视方向,红色箭头表示每个模型预测的注视方向。
图10可以从图中观察到,无论是在典型条件还是极端条件(如眼镜遮挡、变化的光照和头部姿态)下,Fisher-DARTS与其他模型相比都保持了更出色的估计鲁棒性,从而验证了本文提出模型的可靠性。
表4展示了每种模型的GFLOPs和运行时间比较结果。从表4可以看出,提出的Fisher-DARTS方法在搜索空间中引入了几个注意力机制模块,并通过基于费舍尔信息的三区域剪枝策略去除了冗余的跳过连接操作,导致计算复杂性和推理时间略有增加,但仍然满足基本的实时要求。
4.6. 消融实验
本文在实验过程中对几种关键配置进行了消融实验比较分析,评估指标是在MPIIFaceGaze测试集上的MAE。
首先,我们对堆叠单元融合方案(stacked cell fusion scheme)进行了消融实验。实验比较结果如表5所示。表5显示了单元融合方案的MAE比较。本文比较了无融合方案(即仅使用最后一个单元的输出作为最终输出)与几种融合方案。如表5所示,不正确的融合设计实际上会降低检测性能。其中,“Pooling + Channel concatenation”方案的性能最差,MAE为4.31°,可能是由于缺乏通道预对齐,导致不同单元特征之间的语义空间不一致。引入1 × 1卷积进行通道预对齐后,“Pooling + Conv + Channel concatenation”的MAE降至3.68°,表明通道对齐对于融合多尺度特征至关重要。进一步用等权重求和(“Pooling + Conv + Equal weight sum”)替换连接后,MAE降至3.52°,证明求和可以避免通道冗余并促进更好的信息整合。在融合策略中引入自适应权重后,“Conv downsampling + Conv + Weighted sum”的MAE降至3.35°,优于等权重求和方案,验证了空间自适应加权的有效性。然而,该方案仍然不如使用池化的相应方案。
其次,关于Fisher-DARTS中的架构参数更新机制,本文比较了三种不同的更新策略:梯度更新(原始DARTS方法的更新机制)、直接替换和动量更新。动量更新的具体公式如算法2所示;直接替换更新规则由公式(8)给出:
??=?????????????????????(?????)
其中,??是当前批次的费舍尔值。表6比较了两种不同更新策略下的MAE。从表6可以看出,直接替换策略的估计准确性低于动量更新方法。这可能是因为直接替换策略仅依赖于当前批次的费舍尔信息,而单批次的费舍尔估计容易受到噪声干扰,从而加剧了对角线估计误差,最终影响优化效果。直接替换忽略了历史信息并忽视了优化方向,导致MAE略低于DARTS的梯度更新方法。相比之下,使用基于费舍尔信息的动量更新架构参数可以获得更好的性能。由于三区域剪枝依赖于费舍尔信息,为了确保结果的可比性,在上述比较中未采用这种剪枝策略,同时搜索空间仍然正常扩展。
第三,我们对剪枝算法的几个超参数进行了实验比较,即观察区域采样率、剪枝阈值和操作复活乘数。剪枝阈值和操作复活乘数保持不变,不同采样率下的比较结果如表7所示。表7显示,当采样率为0时,角度误差最大。在这种情况下,观察区域内的操作完全被冻结,它们的权重停止更新,导致与主网络状态脱节。结果,费舍尔信息无法准确反映这些操作的真正贡献,从而导致剪枝决策存在系统性偏差,产生次优的单元结构。增加采样率有助于保持观察区域操作与网络状态之间的同步性,使费舍尔信息更准确地反映它们的真正贡献,从而提高剪枝决策的质量。通过实验比较,当观察区域采样率设置为0.2时,模型获得了最佳评估结果。
观察区域采样率和操作复活乘数固定不变,不同剪枝阈值的比较结果如表8所示。表8显示,当剪枝阈值设置过低(例如0.2)时,剪枝机制变得过于激进,将费舍尔值较低的操作分类为冗余并将其移到观察区域。这导致搜索空间过快缩小,从而降低了架构多样性,最终导致更大的平均绝对误差(MAE)。当修剪阈值设置得过高(例如0.6)时,修剪机制变得过于保守,无法有效缩小搜索空间,留下冗余的操作,这也导致MAE增加。实验结果表明,当修剪阈值设置为0.4时,模型可以达到最佳性能。在观察区域采样率和修剪阈值固定不变的情况下,不同操作恢复乘数的比较结果如表9所示。表9显示了MAE随操作恢复乘数的变化趋势,呈现出U形分布。当恢复乘数过小时,一些Fisher值中等低的操作会被过早删除;当恢复乘数过大时,则会保留过多的冗余操作。实验结果表明,当恢复乘数设置为1.5时,模型可以达到最佳性能。
第四,我们对扩展的注意模块进行了消融实验。在固定搜索到的单元结构的情况下,我们用基本模块或搜索空间中的其他注意模块替换了单元内的注意机制(为了确保公平比较,所有替换模块都是从搜索空间中选出的,并且在替换任何单个注意模块时,其他两个模块保持不变)。MAE的比较结果如表10所示。表10显示了不同模块的MAE比较。如表10所示,在插入位置固定的情况下,注意模块通常比基本模块表现更好,验证了注意机制的有效性。值得注意的是,DANet在普通单元中的表现较差,甚至低于基本模块。这可能是因为DANet通过位置和通道注意力捕捉高层次的全局信息,而在普通单元中,特征图具有更高的分辨率,并且主要由低层次特征主导,导致高维注意力矩阵乘法容易引入噪声,从而影响检测精度。实验结果表明,由原始搜索到的SENet、CBAM和DANet组成的模型表现出最佳性能,验证了Fisher-DARTS搜索算法的优越性。
最后,我们进行了关于修剪和搜索空间扩展的总体实验比较,结果如表11所示。表11显示了修剪和搜索空间扩展之间的相应MAE比较。其中,复选框的存在与否表示是否进行修剪和扩展搜索空间。从表11可以看出,修剪策略和搜索空间扩展的协同效应可以显著提高模型的准确性。相比之下,修剪策略的重要性略高于搜索空间扩展。这可能是因为修剪直接移除了导致架构不稳定和性能下降的低效连接(如跳跃连接),为有效搜索奠定了稳定的基础。此外,注视估计任务对局部细节很敏感,过度保留无效连接会妨碍关键特征的提取,而修剪则直接优化了特征传递路径。
5. 讨论
本文提出的Fisher-DARTS搜索框架在多个注视估计数据集上展示了出色的准确性,表明其具有广泛的应用潜力。例如,在多模态人机交互领域,这项技术可以集成到智能眼镜或头戴式XR设备中:当用户注视远处的商店并询问相关信息时,系统可以结合注视点和语音命令来准确定位目标并提供信息。在车辆交互场景中,通过实时跟踪驾驶员的注视方向,系统可以结合头部姿势和语音命令来判断驾驶员是否注意到前方的障碍物或理解导航提示,从而主动预警或调整交互策略,显著提高驾驶安全和交互自然度。Fisher-DARTS与传统的手动设计的注视估计模型不同之处在于,它可以自适应地优化模块组合,包括注意机制的位置、卷积层的超参数设置和网络拓扑连接,从而突破人类经验的限制,实现更高的注视估计精度。同时,与现有的基于NAS的注视估计模型相比,Fisher-DARTS通过基于Fisher信息的架构参数更新策略有效缓解了DARTS方法中常见的优化不一致性问题,使训练目标与评估目标保持一致,进一步提高了最终模型的估计精度。
表12展示了Fisher-DARTS与现有注视估计方法的比较。其中,复选框的存在与否表示是否满足表12中的三个特征。如表12所示,与FullFace [53]和RT-GENE [54]相比,Fisher-DARTS搜索到的模型具有更精细的架构,通过多尺度融合单元输出实现了更准确的注视估计,同时保持了较低的计算复杂性。与DMAGaze [18]、MAFI-Gaze [24]和GFNet [25]相比,所提出的方法能够自适应地学习注意模块的插入位置,而这些比较方法依赖于手动启发式规则在固定位置引入注意机制(GFNet [25]本质上是通过特征相似性在固定位置应用注意),限制了它们的表示能力。与Dilated-Net [19]和VGE-Net [20]相比,所提出的方法能够自适应地组合各种基本模块和注意模块来构建具有优越拓扑结构的网络,而Dilated-Net [19]是手动在预定的特征位置插入特定模块(扩张卷积),VGE-Net [20]则是手动设计了一个注意力引导的级联变分自动编码器,其中固定的拓扑结构限制了检测精度。与GazeNAS-ETH [47]和类似DARTS的方法相比,所提出的方法引入了基于Fisher信息的动量更新策略,利用其统计能力来衡量候选操作对任务的贡献。这将DARTS固有的复杂两级优化问题转化为目标对齐的单路径优化过程,有效解决了由优化不一致性引起的评估偏差。
与LiteGaze [45]相比,尽管它采用了OFA [46]的训练-搜索解耦范式来分离搜索和训练,解决了类似DARTS方法中的优化不一致性问题,但其超级网络训练成本较高,且共享权重可能无法产生最优的子网络。总之,所提出的Fisher-DARTS搜索算法能够自动设计网络架构,有效解决了类似DARTS方法中固有的优化不一致性问题,保持了低计算复杂性,并满足了实时注视估计应用的要求。然而,这种方法仍然存在某些局限性:由于修剪策略移除了低贡献的操作(如跳跃连接)并组合注意机制来扩展搜索空间,最终模型的复杂性和运行效率有所降低。为了解决这个问题,未来可以在以下几个方面进行改进:一方面,可以在搜索过程中引入硬件感知约束,例如在损失函数中使用GFLOPs等效率相关指标作为正则化项,从而引导搜索过程朝向更高效的架构;另一方面,可以采用分层修剪策略,在完成操作级修剪后进一步修剪冗余的注意模块和连接路径,从而在保持准确性的同时简化模型结构。
6. 结论
本文聚焦于注视估计技术,并提出了一种基于神经架构搜索的注视估计模型搜索框架Fisher-DARTS,以应对复杂现实世界场景中的鲁棒性挑战。该框架旨在为多模态人机交互系统提供更准确的视觉注意力感知能力,支持注视与其他模式(如语音和手势)的深度集成和协作。该框架从三个方面进行了改进:特征融合、搜索机制和架构优化。首先,采用了单元输出加权融合机制来有效缓解深度网络中的特征退化问题。其次,通过基于Fisher信息设计动量更新规则来替代传统的架构参数更新机制,解决了DARTS方法在搜索过程中的优化不一致性问题;最后,引入了三区域Fisher修剪策略和注意力增强的搜索空间,以实现网络元操作的适应性筛选和优化组合。实验在三个主流注视估计数据集MPIIFaceGaze、RT-GENE和ETH-XGaze上进行了验证。结果表明,Fisher-DARTS在不同的数据分布下实现了领先的估计精度(MAE分别为3.22°、5.45°和4.12°),显示出比手动设计的模型和现有NAS方法更好的泛化能力。
本文的具体贡献如下:首先,将Fisher信息引入NAS框架为解决架构搜索中的优化不一致性问题提供了新方法;其次,操作级修剪和搜索空间扩展的协作优化机制为构建高性能的注视估计模型搜索架构提供了可行路径;第三,跨数据集验证表明所提出的方法具有很强的场景适应性和实际潜力。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号