用于高分辨率透射电镜图像少样本结构分割的基于物理的合成至实验框架

《npj Computational Materials》：A physics-informed synthetic-to-experimental framework for few-shot structural segmentation of HRTEM images

　　

摘要

高分辨透射电子显微镜 (HRTEM) 能够揭示纳米尺度结构异质性，然而由于可靠的像素级标注稀缺，将微弱且模糊的图像对比度转化为可重现的多类结构图仍然困难。因此，现有的 HRTEM 分割工作流程通常局限于二值前景背景分离或其他简化任务，而非同时解析晶区、晶界、非晶或结构不明区域以及背景。在此，我们报告了一种物理信息引导的合成到实验框架，该框架能够实现少样本多类 HRTEM 分割。关键进展在于一种域构建 - 弛豫 - 成像 (DCRI) 框架，该框架生成具有严格配准结构标签的合成 HRTEM 图像，为合成预训练提供可扩展的监督。在这个两阶段工作流程中，DCRI 预训练提供可迁移的结构先验，而少样本实验微调将这些先验适应于真实的 HRTEM 图像。以金纳米颗粒为主要模型系统，我们表明该策略在低标注条件下产生了连贯的四类分割，而仅基于实验的训练仍然不稳定。该优势在代表性的 U-Net 族主干网络中得以保持，并在对金 STEM 图像进行少样本适应后仍然有效，显示出对已标注的 PbS HRTEM 图像的部分迁移，并进一步支持基于 SAM 的基础模型适应。这些结果确立了一种物理信息引导的合成到实验框架作为缓解 HRTEM 图像少样本结构分割中标注瓶颈的实际途径。