《Information Fusion》:Optical Cross-Modal Dynamic Attention Fusion for Long-Range Human Activity Recognition
编辑推荐:
•OptiDAF:一种用于远距离人类感知的可靠性感知融合模型。•动态注意力机制和残差细化技术优先处理高保真特征。•基于扰动的训练确保了对噪音和低光照条件的抗扰能力。•双阶段同步最小化了不同模式之间的时间偏移。•OptiFusion-ISAC原型比仅使用视频或多种模式的基线模型表现
- •
OptiDAF:一种用于远距离人类感知的可靠性感知融合模型。
- •
动态注意力机制和残差细化技术优先处理高保真特征。
- •
基于扰动的训练确保了对噪音和低光照条件的抗扰能力。
- •
双阶段同步最小化了不同模式之间的时间偏移。
- •
OptiFusion-ISAC原型比仅使用视频或多种模式的基线模型表现更优。
引言
远距离人类活动识别(HAR)是新兴智能环境中的关键组成部分,然而传统的光学传感器,特别是RGB相机,在这些场景中面临严重的性能瓶颈 [1],[2],[3]。具体来说,随着感知范围的扩展,视频数据会出现不可避免的分辨率下降和运动模糊,使得精细的运动捕捉变得不可靠。为了在这些空间限制下保持非侵入式设置,最近的研究转向利用无处不在的环境基础设施作为补充的感知媒介。如图1所示,发光二极管(LED)技术的发展实现了可见光通信(VLC)网络 [4],这种网络将标准照明设备转变为能够同时进行照明和数据传输的双功能节点。为了解码这些数据流,配备光电二极管(PD)的光学接收器是不可或缺的;关键的是,这些传感器能够捕捉到由人类运动引起的的高频强度波动,有效地起到了高速非成像运动检测器的作用。因此,将这种普遍存在但未充分利用的PD模式与视觉流融合起来提供了一个有吸引力的途径。确切地说,PD捕捉到的高保真时间动态有效补偿了远距离视频感知中的空间分辨率下降问题,从而建立了强大的互补效应 [5],[6],[7]。
已经有很多关于早期、中期和晚期融合、注意力机制以及多模态HAR和相关感知任务的专家混合(MoE)设计的研究 [8],[9]。然而,大多数现有方法都是在良性操作条件下优化精度设计的,并且对远距离和低光照条件考虑较少,在这些条件下,相机传感信号本身就不太可靠。相比之下,精确的方法通常需要大量参数和高延迟,这妨碍了它们在资源受限的嵌入式平台上的应用。轻量级模型变体通常放弃了严格的不确定性建模和对缺失模式的强健抗扰能力 [10],[11],[12]。对于PD和相机这两种高度互补但本质不同的模式而言,这种限制更加严重,因为融合这两种不同传感信号存在根本性的挑战。具体来说,两个信号流由于采样率和固有延迟的不同而表现出不同步性,而它们的特征空间也是互不兼容的,这在一种模式的时间强度属性和另一种模式的空间语义特征之间造成了内在的紧张关系。此外,每种模式的感知质量会因现实世界中的距离、照度和遮挡变化而发生剧烈波动 [13]。因此,简单的融合策略在现实世界条件下容易出现严重的性能下降甚至完全失败,这就需要设计一种适用于资源受限部署场景的轻量级自适应融合机制,该机制能够根据每种模式的实时可靠性对其进行动态加权。
为了弥合强健的异构融合与资源受限部署之间的差距,我们提出了OptiFusion-ISAC框架。该框架的核心是光学跨模态动态注意力融合(OptiDAF),这是一种旨在整合异构相机和PD模式的轻量级模型。虽然OptiFusion-ISAC框架采用双阶段同步策略来最小化时间偏移,但OptiDAF特别针对这些跨模态输入的固有特征不兼容性问题。在功能上,OptiDAF首先将异构的PD和相机特征对齐到一个共享的潜在空间中,然后通过通道级的动态注意力进行可靠性感知的权重调整。这种设计使模型能够在感知质量和光照条件变化时适应视觉语义线索和PD时间光学线索的相对贡献。关键的是,该架构严格针对边缘部署进行了优化,具有最小的参数开销,并支持量化处理而不影响远距离感知的保真度。为了进一步提高抗扰能力,我们的训练协议包含了缺失模式和时间扰动策略,即使信号微弱、延迟或缺失也能确保系统的稳健性 [14],[15],[16],[17]。我们在自定义的光学-ISAC测试平台上实现并评估了这种方法(见图1)。该设置利用天花板安装的LED发射器和共位的RGB-PD接收器阵列,在视线内(LOS)和非视线内(NLOS)条件下实现同时通信和无需设备的感知 [18],符合“一个硬件,双重功能”的ISAC范式。总结来说,我们论文的关键贡献如下:
•我们提出了OptiDAF,这是一种集成在OptiFusion-ISAC框架内的轻量级可靠性感知融合模型。OptiDAF不是对两种异构模式应用静态连接或通用跨注意力,而是根据视觉置信度和PD信号的稳定性显式估计模式可靠性,并使用由此产生的通道级权重在不同感知距离和光照条件下动态平衡相机主导和PD辅助的识别。
•我们设计了一种感知扰动的训练策略来提高异构相机-PD融合的稳健性。通过在训练过程中模拟缺失模式、时间错位、信号噪声、分辨率下降和光照变化,OptiDAF学会了稳定的跨模态表示,并在具有挑战性的远距离感知条件下保持可靠的识别。
•我们在定制的OptiFusion-ISAC原型上实现了OptiDAF作为精简的端到端流程。在不同的感知距离、光照水平和模式退化条件下的全面评估表明,所提出的相机-PD融合方案提供了持续的稳健性和效率提升。
章节片段
相关工作
本节回顾了HAR向光学集成感知和通信(O-ISAC)的发展,随后分析了高效的多模态融合架构。我们特别强调了异构集成中的可靠性挑战,这些挑战定义了我们提出的框架所要解决的研究空白。
系统概述
为了解决第2节中提到的关键研究空白,我们提出了名为OptiDAF的多模态融合模型,如图2所示。OptiDAF整合了预处理的PD时间特征和视频时空特征,设计重点符合物联网(IoT)边缘的约束:最小的计算开销、低功耗以及通过跨模态互补性实现的高准确率。
原型实现
OptiFusion-ISAC框架被部署在一个包含典型家具和混合照明的代表性办公环境中。物理系统配置包括四个40瓦的白光LED发射器,安装在2.6米高的天花板上,覆盖200×200厘米的感知区域。这些LED由电流模式放大器驱动,并以不同的频率调制,以增强空间分辨率。光强度的变化由一个四通道PIN PD捕获。
性能评估
本节对提出的OptiDAF模型和OptiFusion-ISAC系统进行了全面评估。为了验证在实际的边缘IoT条件下的性能,实验围绕三个关键维度进行:感知准确性以优先考虑远距离和低光照条件下的稳健性,通信可靠性以验证链路吞吐量和误比特率(BER),以及系统效率以量化端到端延迟、能耗和通信感知的协同效应。所有实验都在
结论与讨论
在本文中,我们提出了OptiFusion-ISAC,这是一种结合可见光感知与视觉语义的新颖且实用的框架,用于实现强大的远距离人类活动识别。与现有的仅使用视频或静态融合的方法相比,我们提出的OptiDAF模型在感知稳健性方面有了显著提升,这主要得益于它通过可靠性感知的动态注意力机制创新性地结合了高频光电二极管信号与视觉上下文。使用自定义原型
CRediT作者贡献声明
钟仁江:撰写——原始草案,验证,方法论,正式分析。李永云:验证,正式分析。张品品:验证,软件。孙一茂:撰写——审稿与编辑。王伟:概念化。杨彦兵:监督,资金获取。张磊:概念化。
利益冲突声明
作者声明他们没有已知的可能会导致本文工作受到影响的竞争性财务利益或个人关系。
Zhongren Jiang|Yongyun Li|Pinpin Zhang|Yimao Sun|Wei Wang|Yanbing Yang|Lei Zhang