基于多模态融合与注意力机制的工业异常检测方法研究

为解决工业场景下RGB图像和深度信息融合异常检测难题，研究人员开展基于多模态特征增强与分层融合的异常检测研究，提出轻量化跨模态注意力机制（LCA）和分层多模态融合模块（HMM），在MVTec-AD和VisA数据集上实现98.2%像素级AUROC和81.1% AUPRO，显著提升对几何与纹理缺陷的敏感性，为工业质检提供实时高效的解决方案。

　　

在工业制造领域，产品质量检测是确保生产一致性和可靠性的关键环节。传统人工检测方法效率低下且容易受主观因素影响，而基于计算机视觉的自动检测技术逐渐成为主流。然而，仅依靠RGB图像的检测方法在面对表面纹理复杂、光照变化或几何结构细微缺陷时往往表现不佳。深度传感器提供的三维几何信息虽能弥补RGB数据的不足，但如何有效融合多模态信息并实现精准异常检测仍是亟待解决的难题。

近日发表于《Array》的研究提出了一种创新的多模态工业异常检测框架，通过设计轻量化跨模态注意力机制和分层融合模块，实现了RGB与深度信息的高效协同分析。该研究首次在工业检测领域引入模态特异性特征增强（MSFE）技术，针对RGB和深度数据的特性分别进行通道与空间注意力优化，并结合课程学习策略生成逼真的异常特征，显著提升了对微小缺陷的检测灵敏度。

研究人员采用共享参数的双分支ResNet-50架构提取多尺度特征，通过三个关键技术模块实现突破：1）使用英特尔RealSense D435i采集的真实RGB-D数据集和Depth Anything生成的伪深度数据共同训练；2）设计轻量化跨注意力块（LCA）降低计算复杂度；3）构建分层多模态融合（HMM）模块实现跨尺度特征交互。在MVTec-AD和VisA基准测试中，该方法在图像级AUROC（98.3%）、像素级AUROC（98.2%）和区域重叠精度（AUPRO 81.1%）三项指标上均达到最优，同时保持45FPS的实时处理速度。

多模态特征提取与增强

研究采用共享主干的双流网络分别处理RGB和深度输入，在Conv3_x到Conv5_x层提取多尺度特征。通过模态特异性特征增强模块，对RGB分支侧重通道注意力以捕捉颜色纹理异常，对深度分支强化空间注意力以感知几何结构偏差。实验表明该设计使深度缺失时的性能下降仅2.8%，显著优于基线模型的7-10%衰减。

分层多模态融合机制

提出的HMM模块在三个层级（L5-L3）逐步融合特征：首先在最高语义层通过1×1卷积融合跨模态特征，随后通过下采样与低层级特征逐级聚合。消融实验显示，采用全层级融合相比单层融合在AUPRO指标上提升5.7%，证明多尺度信息对精确定位至关重要。

异常特征生成与判别训练

创新性地采用课程学习策略生成异常特征：第一阶段添加高斯噪声（σ=0.02）模拟全局异常，第二阶段利用注意力图调制噪声分布，生成符合语义结构的局部异常。判别器采用双层MLP结构，通过截断L₁损失约束正常特征得分高于0.5，异常特征低于-0.5。这种设计使模型在VisA数据集上的假阳性率降低3.2%。

鲁棒性验证与效率分析

研究系统测试了深度质量对性能的影响：当深度图添加σ=0.1m高斯噪声时，性能下降7.3%，但仍优于纯RGB基线。模型参数量仅27.5M，为同类多模态方法的60%，推理时GPU内存占用仅0.8GiB。在自建工业数据集上，使用真实深度传感器数据达到96.6%像素级AUROC，证实了实际部署可行性。

该研究通过理论创新和技术突破，解决了多模态工业检测中的三个核心问题：1）建立RGB与深度信息的有效协同机制；2）实现精确到像素级的缺陷定位；3）保证实时处理速度满足工业流水线需求。提出的注意力调制异常生成策略为无监督学习提供了新思路，分层融合架构为多模态计算建立了可扩展框架。研究成果不仅推动了工业视觉检测的技术边界，更为医疗影像分析、自动驾驶等需要多模态融合的领域提供了重要参考。