面向不确定工业环境下的稳健信息处理，基于可靠性考虑的多模态融合技术

《RELIABILITY ENGINEERING & SYSTEM SAFETY》：Reliability-aware multimodal fusion for robust information processing in uncertain industrial environments

　　•在感知条件恶劣时仍能实现可靠的姿态估计。•多模态融合提升了系统在黑暗环境及物体遮挡情况下的稳定性。•具备可靠性意识的融合机制能够根据不同模态的质量自动调整。•通过反复试验与性能退化分析验证了系统的稳定性。

引言
在航空航天装配车间、深海维修舱、地下矿井、核电站以及灾后环境等极端工业环境中，机器人系统常常需要在感知条件极度恶劣的情况下，精确地定位物体并对其进行操作。这类作业环境本身就存在诸多严峻限制，包括光照不足、空间狭小、结构复杂，同时还存在空气中的颗粒物、高湿度、辐射以及机械振动等持续性的环境干扰[1]、[2]、[3]、[4]、[5]、[6]。这些不利因素会给数据采集的准确性带来极大挑战。具体而言，视觉传感器往往无法获取对比度低、色彩饱和或图像模糊的图像；声学信号则容易受到多路径干扰和非稳态噪声的影响；而激光雷达或触觉感应等其他模态在狭窄且杂乱的空间中，其覆盖范围和适用性也极为有限[7]、[8]、[9]、[10]、[11]、[12]、[13]。因此，机器人所能获得的感知信息往往不完整或存在很大不确定性，这不仅会给姿态估计带来极大困难，还会严重威胁自主机器人操作的安全性与效率[14]、[15]、[16]、[17]、[18]、[19]。

此前已有大量研究探讨基于单一感知模态的感知方法。基于视觉的方法在可见度良好的条件下，能够捕捉到精细的几何特征与纹理细节，但其性能在面对光照不足、物体遮挡或烟雾、水滴等散射介质时会急剧下降[7]、[8]、[20]。相比之下，声学感知具有独特的优势，它不受光照条件的影响，即使在部分遮挡的情况下仍能提供有用信息。然而，声学感知也极易受到回声、混响以及背景机械噪声的影响，这些因素会扭曲时间-频率结构，降低空间分辨率[10]、[21]。同样，虽然触觉反馈能够提供高精度的接触信息，但它需要物理接触，因此并不适合在接触前的全局定位中使用[22]、[23]。此外，尽管激光雷达系统具备几何精度，但在狭窄或杂乱的环境中，由于视线限制和扫描约束，它往往无法获取完整的表面数据[5]、[9]。总体而言，这些固有缺陷表明，在极端环境中，仅依靠单一模态是无法实现可靠感知的，尤其是当主要的故障模式会随时间动态变化时。

正是由于这些固有局限，人们开始采用多模态感知技术，通过整合不同的感知数据流，利用冗余性和互补性来提升系统的稳定性[24]、[25]、[26]、[27]、[28]。在本研究中，我们重点关注视觉与声学的组合，因为它能在功能互补性与系统实用性之间实现良好平衡。在可见度良好的情况下，视觉传感器可以提供高分辨率的几何信息，而声学传感器则不受光照条件影响，即使在部分遮挡的情况下仍能提供有效信息。更重要的是，我们将声学模态视为一种补充性信息源，用于捕捉仅从静态图像中难以推断的交互动态，而非作为一种独立的精细姿态估计工具。与其他多模态组合相比，这种视觉-声学组合无需大幅增加系统复杂性即可实现应用。而在极端环境中，其他模态也存在各自的局限性：激光雷达容易在视野被阻挡或空间过于拥挤的情况下无法完成完整扫描；触觉感应则需要物理接触，因此不适合在接触前的全局定位；而仅依赖惯性测量单元的感知方法则在没有外部环境信息校正的情况下容易出现误差[25]、[27]。因此，视觉-声学融合是一种极具互补性的感知方案，能够很好地满足极端环境下的作业需求。

尽管该领域已取得不少进展，但现有的多模态系统在极端作业环境中的应用仍然存在不足，主要源于两个根本性问题。首先，许多方法未能有效解决跨模态之间的不对齐问题。不同模态在感知延迟、感受野范围以及噪声特性方面的差异，常常会导致时空偏差和虚假相关性，而在物体遮挡或声学回声存在的条件下，这些问题会更加严重[12]、[29]。其次，对于实现可靠感知而言更为关键的是，现有的融合策略大多缺乏对可靠性的考量。那些依赖静态拼接、后期平均或固定注意力权重的方法，都隐含着一个假设，即各模态的质量会保持稳定。因此，当环境条件发生变化时，这些方法就会让质量下降的感知数据错误地主导融合后的结果[28]、[30]、[31]、[32]、[33]。在实际应用中，视觉信息可能因强光或灰尘而暂时受损，声学信息也可能被机器噪声或结构回声所干扰，要想实现系统稳定性，就必须同时解决跨模态的对齐问题以及动态可靠性处理问题。

已有两项互补的研究方向试图解决这些问题，但它们仍不足以应对本研究中所考虑的具体场景。一方面，人们通常采用表示预训练和对齐技术来减轻结构化传感器信号中的分布偏移问题[34]、[35]。虽然这些方法能够在训练或适应阶段提升模型在不同领域的泛化能力，但它们无法直接解决推理阶段的可靠性波动问题，而且通常也不具备实时、基于内容进行跨模态歧义消除的功能[36]、[37]。另一方面，一些结合物理原理且以物理规律为指导的方法，将机械结构引入学习过程，在可靠性分析及信号建模方面展现出了良好潜力[38]、[39]、[40]。然而，这类方法严重依赖于准确且可迁移的物理模型的存在。在极端机器人感知场景中，光线散射、镜面反射、声学多路径传播以及非稳态环境噪声等多种因素的影响程度会因场景不同而有所差异，这使得建立精确的解析模型变得极为复杂。正是由于这些不足，人们才需要开发一种数据驱动的多模态框架，该框架能够直接从观测数据中学习如何对不同类型的感知信息进行对齐与融合，同时保留具有物理意义的归纳偏见，从而确保系统的稳定性与可解释性。

基于上述局限性，我们提出了一种专为在感知条件恶劣且不断变化的環境中执行姿态估计而设计的稳健视觉-声学协同框架。与传统融合方法不同，我们的方法采用了一种逐步交互机制：首先是相互证据检索，随后是可靠性判定。具体而言，我们首先通过专门的编码器提升各模态内部的稳定性。这包括一个多尺度视觉特征提取器，它能整合上下文信息，从而在对比度较低的情况下抑制噪声；还有一个专门设计的声学模块，作为补充性的空间信息源。该声学模块运用坐标感知型注意力机制，能够在时间-频率表示中保留轴对齐的结构，从而有效应对回声问题，而无需单独实现精细的定位功能。之后，我们通过双向交叉注意力机制建立跨模态的交互关系。这一机制使得视觉信息与声学信息能够相互补充——视觉信息可用于消除声学信号中的多路径模糊问题，而声学信号中的瞬态特征则能引导视觉注意力集中在被遮挡、光线不足或纹理较少的区域。最后，一个具备可靠性意识的融合模块会评估各模态的实时质量，从而动态调整各模态对最终结果的贡献程度，确保在系统出现临时故障时仍能保持推理的稳定性。

我们的主要贡献如下：（1）我们提出了一种具备可靠性意识的视觉-声学融合框架，该框架能够明确建模各模态的置信度，并在感知条件动态恶化时实现自适应的融合处理。（2）我们阐明了声学信号在姿态估计中的互补作用，指出性能的提升并非仅仅来自于新增了另一种感知模态，而是得益于结构化的跨模态对齐以及基于可靠性引导的融合机制。（3）我们进行了全面的稳定性评估，包括重复试验统计、可控的性能退化分析以及故障案例研究，从而提供了超越传统精度指标的更全面的性能描述。（4）我们证明了所提出的系统能够在保持实时性能的同时实现出色的精度，为其在机器人应用中的实际部署提供了有力支持。

本文的其余结构如下：第2节回顾了关于多模态感知、传感器融合以及在恶劣条件下的姿态估计的相关研究。第3节阐述了研究问题及其面临的关键技术挑战。第4节详细介绍了所提出的框架。第5节描述了实验设置与结果，包括各种对比实验。第6节探讨了该系统的部署考虑因素及可扩展性。最后，第7节对全文进行总结，并指出了未来的研究方向。