基于RGB-事件融合与多模态大语言模型的工业异常检测

《Scientific Reports》：Industrial anomaly detection via RGB-event fusion with multimodal large language models

　　

摘要

在复杂的工业场景中，传统的工业异常检测方法在低光照、高速运动以及强光照干扰等极端条件下通常表现不佳。为此，我们提出了基于视觉 - 语言模型的 RGB-事件工业异常检测（ReIAD-VL），将 RGB 图像和事件流与多模态大语言模型相结合。RGB 图像提供外观、纹理和结构信息，而事件流则捕捉异步亮度变化和高时间分辨率的运动线索。为了减少 RGB 数据和事件数据之间的时间差异和表示差异，我们提出了一种时空对齐与融合模块，对 RGB-事件特征进行深度对齐和融合，从而提高鲁棒性和语义一致性。为了进一步解决通用视觉 - 语言模型在工业场景中对微小缺陷感知错位和诊断幻觉的问题，我们提出了一种融合异常信息优化器，以增强异常定位和判别能力。我们还构建了一个包含多种场景的 RGB-事件工业异常检测数据集作为基准。通过针对跨模态特征对齐和语言生成的三阶段训练流程，系统从表示到推理的性能得到了提升。实验表明，ReIAD-VL 在异常检测和语言生成指标上始终优于主流多模态模型，展现出强大的泛化性、可解释性和工业适应性。该框架为工业场景中的集成异常感知、理解和推理提供了有效解决方案。