卷积自编码器热成像中的缺陷感知通道选择，用于增强复合材料红外检测

《Infrared Physics & Technology》：Defect- aware channel selection in convolutional autoencoder thermography for enhanced infrared inspection of composite materials

　　

摘要
红外热像是一种高效的无损检测技术。然而，在实际检测场景中获取的热像图常受环境干扰影响，导致噪声增强和背景响应不均匀。为应对这些挑战，本研究首次提出了一种缺陷感知通道选择卷积自编码器（DC2AE），以改进复合材料内部缺陷的视觉检测。该方法将自适应加权策略引入卷积自编码器的多通道特征提取过程，使网络能够差异化地建模嵌入在不同通道中的缺陷相关响应。此外，开发了一种缺陷感知通道选择机制，以从多通道潜在特征表示中自动识别缺陷敏感度最高的热响应图像。此外，使用基于偏度的比较图像选择策略来定量评估不同候选通道的热响应分布。所提方法还与主成分热像进行了比较，展示了其在缺陷增强和背景抑制方面的优越性。对单次输出中随机选择的通道图像进行视觉分析进一步表明，通道注意力机制有效地引导网络关注缺陷感知区域，并生成具有跨通道差异化表征能力的热像特征。最后，对三个具有代表性缺陷的碳纤维增强聚合物样品的实验表明，所提方法产生的缺陷轮廓更清晰，基于图像的检测性能优于传统卷积自编码器。

引言
碳纤维增强聚合物（CFRP）因其高强度、轻质、耐腐蚀耐高温、设计灵活以及优异的疲劳性能而广受认可。然而，在制造和使用阶段经常会出现分层、屈曲、开裂和孔隙等问题。通过无损检测（NDT）技术进行定期缺陷检测至关重要。常见的无损检测方法包括超声检测、射线检测、涡流检测和红外热像（IRT）[1], [2], [3]。其中，红外热像由于其低成本、易用性和高检测效率，已成为一种广泛采用的缺陷检测技术。然而，生成的大量热像图使得单独检查既耗时又费力。

为了克服这些挑战，研究人员已将统计学习和机器学习方法应用到红外热像领域 [4], [5]。例如，Rajic 等人 [6] 提出了一种利用奇异值分解的主成分热像（PCT），以简化检测程序并实现高效的缺陷可视化。尽管取得了这些进展，缺陷观察仍受噪声和不均匀背景的影响。为应对这些挑战，提出了噪声抑制和背景去除算法 [7], [8], [9]。例如，Wang 等人 [9] 提出了一种自适应迭代重加权惩罚最小二乘法，可以有效减少噪声和背景干扰。然而，传统机器学习方法在处理包含非线性特征的热像数据时往往表现欠佳，使得缺陷检测中的噪声和背景干扰难以有效减少。

近年来，深度学习 [10], [11] 在图像增强 [12] 和特征提取 [13] 等应用中展现了卓越的性能和鲁棒性。自编码器（AE）以其通过无监督学习学习压缩数据表示的能力而闻名，能够实现大规模图像数据的高效存储和传输。这一优势对于处理复杂非线性数据尤为有益。自编码器为处理非线性数据特征提取和图像噪声抑制等挑战引入了一种新方法 [14]。通过利用其隐藏层，自编码器熟练地解决了从非线性数据中提取特征的挑战 [15]。值得注意的是，卷积自编码器（CAE）是一种将卷积操作纳入自编码器的深度学习算法，在图像处理中被证明非常有效，它在捕获局部特征进行降噪的同时保留了图像信号的空间信息 [16]。卷积自编码器表现出优异的性能，特别是在红外热像领域。

然而，当应用于红外热像图分析时，CAE 模型仍然存在某些局限性。一方面，在编码和解码过程中，微小缺陷的信息可能会被压缩、平滑甚至丢失，导致精细缺陷细节和空间定位的精度降低 [13]。另一方面，传统 CAE 架构通常缺乏自适应通道选择能力，难以根据不同卷积特征通道中包含的热响应信息有效进行过滤 [17]。对于红外热像序列，图像不仅包含空间纹理信息，还表现出不同的时间热响应演化特征 [18]。编码后的不同特征通道通常对应不同程度的缺陷响应、非均匀背景或噪声成分 [19]。传统 CAE 难以在有效抑制无关背景信息的同时充分突出缺陷敏感特征 [20]。这些问题降低了缺陷可视化的鲁棒性，这一点在检测小、浅和低对比度缺陷时尤为明显。因此，有必要开发一种更适应红外热像序列时间演化特征的自适应特征选择机制。

本研究首次提出了一种用于热像缺陷检测的缺陷感知通道选择卷积自编码器（DC2AE）。该模块使网络能够选择性地增强与有意义的热对比度演化相关的通道，从而提高潜在特征空间中细微缺陷的表示能力。更重要的是，进一步发展了一种缺陷感知通道选择机制，以从多通道潜在特征图中自动筛选出最缺陷感知的热响应。这种自适应选择过程使网络能够动态识别高质量特征表示，抑制冗余背景信息，并增强关键缺陷特征。实验验证表明该方法在降噪和缺陷检测方面表现出色。本研究的主要发现可概述如下：
1. 本研究提出了一种缺陷感知通道选择卷积自编码器热像方法。该方法融合了自适应通道加权机制，以从多通道响应中自动识别缺陷感知热像特征图像，从而提高了模型的缺陷检测能力。
2. 所提方法在两个不同的数据集上进行了严格评估。评估表明该方法显著提高了热像数据质量。此外，使用对比度噪声比（CNR）[21], [22], [23] 对拟议方法进行了分析和评估，验证了其有效性。
3. 比较分析了主成分热像降维和基于偏度的选择机制的性能。本文通过示例给出了建议。最后，通过通道权重的可解释性分析进一步增强了方法的可理解性。

本研究的结构总结如下：第 2 节描述了数据收集、预处理和基础模型。第 3 节详细介绍了 DC2AE 框架和实施。第 4 节比较了偏差图像选择方法与主成分热像降维。第 5 节提供了总结以及对该方法的前景展望。

章节片段
数据采集与预处理
根据激励源和红外相机的定位，红外热像实验可分为两种不同的检测模式：反射模式和透射模式 [24], [25]。对于反射模式，两个设备位于样品的一侧；而透射模式中，它们位于相对的一侧。为了提高检测的清晰度，本研究采用双闪光灯的反射模式加热，如图 1 所示。实验数据为

模型框架与训练准备
传统 CAE 通过卷积层进行编码和解码，虽然可以学习输入数据的紧凑表示，但并未关注通道间关系。通道注意力模块通过学习每个通道的相对重要性来增强模型性能，使 CAE 能够有效捕获输入数据内的关键特征。因此，本研究将通道注意力模块嵌入 CAE 网络的每个卷积层中，以增强模型的自适应

实验结果
在后续研究中，使用所提出的 DC2AE 数据增强方法对包含六种不同缺陷的 CFRP 样品进行了缺陷检测。为了客观展示 DC2AE 在红外热像缺陷检测方面的有效性，使用 CNR 进行了定量分析。具体而言，使用以下公式进行量化计算：
CNR=|???????????????|??????
其中 Mdef 和 Min 分别是热像图中缺陷区域和非缺陷区域的平均像素值，σin

结论
本研究提出了一种称为 DC2AE 的方法，该方法将通道注意力机制与 CAE 集成，以增强 CAE 的空间特征提取能力。通过考虑通道间的信息差异，该方法在卷积网络内应用加权特征图以强调重要的通道特征。此外，使用 PCT 减少了原始、CAE 增强和 DC2AE 增强数据集的图像数量。偏度值也被用作图像

资金声明
本研究部分受国家自然科学基金（批准号：U23A20328）和中国浙江省自然科学基金白马湖实验室联合基金（批准号：LBMHD24F030001）资助。姚原部分受台湾科技部资助（项目号：NSTC 113-2221-E-007-012-MY2）。王部分受 2025 年研究生国际化培训专项资金资助（批准号：GF25034135001）。

CRediT 作者贡献声明
王富敏：撰写——初稿、可视化、方法论、概念构思。
Sfarra Stefano：调查、形式化分析。
王阳宇：验证、监督。
江真峰：验证。
刘毅：撰写——审阅与编辑、资金获取。
姚原：撰写——审阅与编辑、资金获取。

利益冲突声明
作者声明，他们没有任何已知的相互竞争的财务利益或个人关系，这些情况可能被视为影响本文报告的工作。

王富敏 | Sfarra Stefano | 王阳宇 | 江真峰 | 刘毅 | 姚原
中国浙江杭州浙江工业大学过程装备与控制工程学院，邮编 310023