基于物理代理的自监督表示学习方法，用于钯膜扫描电镜图像的无监督退化状态聚类

《Measurement》：Physics-proxy self-supervised representation learning for unsupervised degradation-state clustering of palladium membrane SEM images

　　•基于图像计算的代理指标无需手动标注即可为特定任务提供监督。•无监督聚类可从SEM图像块中得出三级退化严重程度结构。•在具有防泄漏功能的GroupKFold算法下，物理代理嵌入法能以67.4%的准确率恢复这些聚类结构。•报告了考虑数据不平衡的评估指标：宏观F1值为0.66，以及各类别的精确度/召回率、混淆矩阵等。整个流程完全可复现，相关代码已公开，且设置了固定种子及数据分割方案。

引言
用于退化监测的计算方法发展迅速，但深度学习所需的数据与经过专家标注的显微镜数据集之间的缺口依然存在。在健康监测领域，这一问题更为突出，因为材料退化往往遵循扩散、相变和应力诱导裂纹等物理机制。氢传感器膜、电池电极以及易腐蚀的结构合金都是典型例子，但根本问题在于：现有模型通常是基于标签而非物理规律本身进行学习的[1]、[2]、[3]、[4]、[5]。

当前的计算诊断方法存在三方面局限：（1）有监督缺陷分类器在固定数据集上能实现高准确率，但每种材料系统都需要专家标注，这限制了其扩展性[6]、[7]、[8]、[9]；（2）通用的自监督学习方法（如SimCLR、MoCo、DINO）旨在实现视觉不变性，而非针对退化特征优化[10]、[11]、[12]、[13]、[14]、[15]；（3）迁移学习或领域适配方法虽可缓解已知的源-目标差异问题，但通常需要对源数据获取、目标标签或差异机制做出假设[16]、[17]。近期的一些故障诊断研究通过异步联合分布对齐或无源渐进式子空间校准来应对条件变化问题[16]、[17]，这些方法对未来跨条件膜材料研究有一定参考价值，但无法为SEM图像提供特定任务的形态学特征信号，也无法验证其迁移效果。另有研究表明，未经标注的电子显微图可通过通用自监督学习方法用于粒子分割[18]、HAADF-STEM图像的生成式自监督分割[19]，以及EBSD衍射图案的对比式潜在空间映射[20]，但这些方法使用的都是通用增强不变性目标，缺乏与退化相关的监督信号。基于图的自监督聚类也提供了有益的方法参考[21]、[22]、[23]，不过那些研究针对的是高光谱图像而非SEM表面。我们的研究则聚焦一个更具体、可验证的问题：即是否可以通过低成本、基于图像计算的形态学代理指标作为特定任务的自我监督信号，从而构建出可用于无监督退化严重程度划分的防泄漏嵌入结构，以及这类代理指标相比纯对比基线方法能带来多大提升。

为此，我们采取了一种实用的方法：将基于图像计算的形态学代理指标作为自我监督信号，用于与退化相关的SEM表面特征表示学习。PASS-Net（物理感知自监督网络）将对比损失函数与代理重建模块相结合，这些代理指标是具有物理意义的表面描述符——包括斑点（针孔/空洞）的密度和大小、边缘与轮廓密度以及强度纹理等——它们与缺陷严重程度存在关联。该框架并未试图求解相关的传输方程，而是利用这些可测量的形态学代理指标作为弱形式的特定任务信号，引导嵌入结构向与缺陷相关的特征靠拢。这与通用自监督学习方法（如SimCLR、MoCo、DINO）不同，后者仅追求增强不变性，不包含与退化相关的特性；也与迁移学习方法不同，后者着眼于特定的源-目标差异问题。PASS-Net采用在ImageNet数据集上预训练的模型作为初始参数，因此其优势仅在于无需针对钯元素SEM分析任务进行手动标注。我们通过去除代理信号后的实验来验证其作用。

本研究的贡献严格限定在现有数据所能支持的范围内：（1）构建了一个可复现的、具有防泄漏功能的处理流程，该流程能够从钯膜SEM图像块中提取形态学代理指标，学习基于物理代理指标引导的自监督嵌入结构，并最终得到无监督的三级退化严重程度结构；（2）在图像级别的GroupKFold交叉验证框架下进行了公平、可靠的评估，同时使用了多种考虑数据不平衡的评估指标（宏观F1值、平衡准确率、各类别的精确度/召回率以及混淆矩阵）；（3）通过实验性的消融研究及基线对比，量化了物理代理信号相比纯对比基线方法以及未经训练/使用ImageNet预训练模型得到的结果所带来的提升幅度。该模型在580张SEM图像块上进行了训练，这些图像块来自一次大范围钯膜扫描结果以及另外三个钯样本（共145张原始图像），且这些数据均没有经过专家对材料健康状态的标注。在图像级别的GroupKFold验证下，该物理代理嵌入法能以67.4±3.2%的准确率（宏观F1值为0.663）识别出由形态特征定义的三个退化严重程度等级的聚类结构。需要强调的是，这些聚类所反映的是形态学特征，而非经专家验证的材料健康状态；所有数据都来自同一个实验室的少量实际钯膜样本；而剩余使用寿命预测、跨材料应用以及现场部署等问题则被列为未来需要研究的内容，而非本研究的成果。图1展示了相关结果的概览。

概念动机
所谓代理指标，其实是一种归纳偏置：如果所选的形态学描述符包含了对比损失函数未能捕捉到的与缺陷相关的信息，那么通过重构这些描述符，就可以促使嵌入结构保留相应的特征。不过这种思路并不能为当前数据集带来信息论层面的约束、样本复杂度的降低或更好的泛化能力。尤其需要注意的是，这些代理指标与通用的卷积统计特征很可能会存在大量重叠。

结果
评估方案说明：所有报告的性能指标都是通过图像级别的5折GroupKFold交叉验证得出的，在该验证方式中，同一原始图像中的所有图像块都被分配到不同的验证组中，从而避免了同一图像块的信息泄露问题。由于可用数据仅来自少量实际钯膜扫描结果（一次大范围钯膜扫描加上三个额外的钯样本），因此无法采用膜级别的分组验证方式，故而采用了图像级别的GroupKFold验证方法（共145个图像组）。

物理代理指标作为弱监督信号
基于图像计算的形态学代理指标可以作为与对比损失函数相结合的弱形式、特定任务的监督信号。PASS-Net并非试图求解相关的物理传输方程，而是将可测量的表面描述符（如斑点/空洞的统计特征、边缘与轮廓密度、强度纹理等）作为辅助目标来进行学习。通过这种方式得到的嵌入结构能够区分低缺陷、中等缺陷和高缺陷三种形态特征，且在具有防泄漏功能的评估环境下仍能准确识别出这些特征结构。我们的消融实验表明，在这种验证条件下……

结论
PASS-Net利用基于图像计算的形态学代理指标作为特定任务的自我监督信号，用于从钯膜SEM图像块中学习特征表示。该模型的ResNet-50核心网络是在ImageNet数据集上预训练过的，但在训练过程中并未使用任何来自该SEM分析任务的手动标注数据。在145张原始图像对应的580张图像块上，通过对代理指标进行无监督的UMAP+k-means分析，可以得到按照缺陷密度排序的三个聚类群；而对经过预处理的物理代理嵌入结构进行线性分析，也能以67.4±3.2%的准确率识别出这三个聚类群。

数据集与预处理
该数据集包含钯膜表面的扫描电子显微镜图像。数据主要来源于对一块钯膜区域的一次大范围SEM扫描，该扫描结果被分割成了242张图像（编号为Tile_ri-cj_Region2），此外还有三个额外的钯样本对应的24张图像。经过预处理流程后，最终的分析数据集包含了145张符合要求的原始图像。至于其余未被纳入分析的图像块的相关信息，则没有予以保存，因此无法确定其具体情况。

CRediT作者贡献说明
Sangkeum Lee：撰写原文初稿、方法设计、实验研究、资金申请、正式分析、数据整理、概念构思。Gihun Gil：方法设计、实验研究、资金申请。Younghwan Im：资源协调、项目管理、正式分析。

利益冲突声明
作者声明不存在任何可能影响本文研究结果的已知财务利益或个人关系。

致谢
作者声明本项研究未获得任何外部资助，也没有接受任何行政、技术或实物方面的支持，所有工作均依靠作者所在机构的资源完成。

Sangkeum Lee|Gihun Gil|Younghwan Im