《Journal of Computational Design and Engineering》：MambaAlign: Alignment-Aware State-Space Fusion for RGB-X Industrial Anomaly Detection
编辑推荐：
为解决RGB单一模态在工业异常检测中难以捕捉几何、热力学等缺陷的局限性，本研究提出MambaAlign框架，通过Per-Modal Mamba模块（PMM）实现长距离方向感知上下文编码，利用Cross Mamba Interaction（CMI）进行语义级跨模态交互，并结合Alignment-Aware Fusion（AAF）实现对齐敏感的局部融合。实验表明，该方法在RGB-T（MulSen-AD）、RGB-N（Real-IAD D3）和RGB-D数据集上平均提升I-AUROC 4.8%、P-AUROC 5.0%、AUPRO 6.5%，且保持30 FPS实时性能，显著提升复杂工业场景下的缺陷检测与定位精度。
在智能制造浪潮中，工业视觉检测系统已成为质量控制的“火眼金睛”。然而，传统基于RGB图像的异常检测方法在面对细微划痕、内部脱层或热异常等缺陷时，往往显得力不从心——这些缺陷在颜色纹理上难以察觉，却能在深度、热成像或表面法线等互补模态中显形。尽管多模态融合技术应运而生，现有方法仍面临三重困境：卷积神经网络的局部感受野难以捕捉长条形缺陷的全局上下文；视觉Transformer的全局交互伴随二次计算复杂度，难以处理高分辨率工业数据；传感器微小的错位会导致跨模态污染，破坏像素级定位精度。
针对这些挑战，Dinh-Cuong Hoang等研究人员在《Journal of Computational Design and Engineering》上发表了题为“MambaAlign: Alignment-Aware State-Space Fusion for RGB-X Industrial Anomaly Detection”的论文，提出了一种革新性的融合框架。该框架通过引入状态空间模型（State Space Models, SSM），实现了高效的长序列建模，并巧妙设计了对齐感知机制，在提升检测精度的同时保障了实时性。研究团队在RGB-T（红外热成像）、RGB-N（表面法线）和RGB-D（深度）三类工业数据集上验证了方法的通用性，结果表明MambaAlign在图像级异常检测、像素级定位和区域重叠精度上均实现显著突破，且推理速度达到30 FPS，为工业部署提供了实用方案。
关键技术方法方面，作者首先采用共享权重的WideResNet50骨干网络提取多尺度特征，通过模态特定归一化层适配不同传感器数据分布；其次设计QuadSnake扫描策略将二维特征转换为四方向（行蛇形、反向行蛇形、对角线蛇形及反向）序列，增强方向感知能力；进而通过跨模态状态空间递归（CMI）在深层特征实现语义交互；最后利用对齐感知融合模块（AAF）进行局部特征校正与通道重构。实验涉及来自真实工业场景的多个公共数据集（包括MulSen-AD的1300正常/450异常样本和Real-IAD D3的8450样本），并新增包含自然错位的RGB-D数据集以验证鲁棒性。
4.4 Results on RGB-T
在MulSen-AD数据集上，MambaAlign取得97.1% I-AUROC、96.5% P-AUROC和87.0% AUPRO，较最佳RGB-only基线（Rolih et al., 2024）提升超11个百分点。热成像模态有效揭示了RGB不可见的内部缺陷（如脱层、热点），而CMI模块的语义级交互避免了早期融合对噪声的放大。如图6所示，该方法生成的热力图更紧凑，误报区域更少。
4.5 Results on RGB-N
针对Real-IAD D3数据集中的几何缺陷（如微凹痕、划痕），MambaAlign在表面法线模态辅助下达到98.4% I-AUROC和97.5% P-AUROC。法线图对表面取向变化敏感，使模型能区分细微形变与良性纹理变化。AAF模块的空间对齐重构机制在此发挥了关键作用，有效保留了缺陷边界细节。
4.6 Results on RGB-D
在新采集的含自然错位RGB-D数据集上，该方法在图像级检测（96.7% I-AUROC）和区域定位（83.0% AUPRO）上均显著优于蒸馏型与记忆型融合方法。研究表明，基于注意力的方法在错位场景下性能骤降，而MambaAlign通过高层语义交互与局部重构的分离设计，保持了稳定性。
4.7 Robustness to Misalignment
通过模拟平移（0-40像素）、旋转（±10°）和尺度变化（±10%）的系统测试，发现AUPRO对错位最敏感。如图9所示，传统方法在微小错位下定位质量急剧下降，而MambaAlign仅呈现缓慢衰减。在自然抖动采集的RGB-D测试集上（表4），其仍保持94.2% I-AUROC和79.1% AUPRO，验证了对真实工业环境中非理想数据的适应性。
4.8 Performance Across Anomaly Scales
按缺陷尺寸分组的实验显示，MambaAlign在微小型缺陷（如微划痕）检测中优势显著（AUPRO 80.6%），这归因于QuadSnake扫描对线性结构的连续性保持。对于大型缺陷，所有方法均能实现高检测率，但本方法在定位精度上仍保持领先（94.0% P-AUROC），说明其融合策略对不同尺度缺陷具有普适性。
4.9 Comparative Evaluation of Multimodal Fusion Methods
如表6所示，与Transformer融合方法（如TransD-Fusion）相比，MambaAlign以近线性计算复杂度实现更高指标（平均提升AUPRO 6.5%）。参数量（42.3M）仅为Transformer基模型的一半，且在分辨率提升时内存增长平缓（图10），证明其更适合高分辨率工业应用。
4.10 Ablation Study
消融实验（表7）表明，移除CMI导致AUPRO下降11个百分点，证明跨模态语义交互是性能提升的关键；替换AAF为简单拼接使AUPRO降低7点，凸显局部对齐重构的必要性；QuadSnake扫描相较传统正交扫描提升AUPRO 6.8%，验证了多方向序列建模对工业缺陷各向异性的适应性。
本研究通过有机结合状态空间模型与对齐感知机制，实现了多模态工业异常检测的突破性进展。其核心价值在于：一方面，通过内容驱动的跨模态递归（CMI）在深层语义层面实现高效交互，规避了注意力机制的计算瓶颈；另一方面，通过顶层语义指导下的局部融合（AAF）保障了空间精度，使模型对实际应用中不可避免的传感器错位具有强鲁棒性。未来工作可探索显式几何对齐模块的集成、更逼真的异常合成策略，以及轻量化部署方案，进一步推动该技术在实际工业场景中的落地。
