这是一篇关于扫描探针显微镜（SPM）图像修复的技术论文标题，大意是利用高效的低秩适配（LoRA）方法改进 BrushNet 模型，实现从伪影到洞察的图像复原。 如果您有关于这篇论文的具体问题（例如方法细节、实验结果、应用场景等），欢迎告诉我，我可以尽力提供帮助

《Applied Surface Science》：From artefact to insight: efficient low-rank adaptation of BrushNet for scanning probe microscopy image restoration

　　

• •
  提出了一种基于扩散的科学灰度图像修复框架。
• •
  开发了SPM-InpBench和LoRA增强模型，可在单张显卡上训练。
• •
  该方法可跨多个SPM通道图像泛化。
• •
  成功去除了各种SPM伪影，实现了不可替代的SPM图像的高效、可扩展恢复。

引言

扫描探针显微镜（SPM）在多个研究领域（如功能材料、催化、储能材料、生物分子科学等）[1]、[2]、[3]、[4]中一直是解析表面过程不可或缺的工具。然而，其所提供的洞察依赖于一个看似脆弱的条件：最终图像通常需要消除扫描伪影，以便准确地观察和分析细节结构或功能特征。另一方面，未正确调整的反馈回路通常会留下许多噪声或伪影，如高频条纹、突然的相位跳变、种子斑点岛，不对称或磨损的探针可能导致方向性拖尾，拉真实特征，压电蠕变也可能引入全局形变或倾斜[5]、[6]、[7]。表1对这些缺陷、其物理原因和视觉特征进行了简要分类总结。对于初学者而言，某些缺陷很难被发现，即使是经验丰富的操作员也很少在首次尝试时就获得"无缺陷"的帧。脆弱或一次性使用的样品通常无法承受重复扫描；在时间序列实验中，即使单个损坏的帧也可能迫使整个序列重新开始。这些场景不仅浪费了宝贵的样品材料和仪器时间，还突显了对鲁棒伪影去除方案的迫切需求。

现有对策仍然分散。硬件解决方案，如高速扫描仪抑制反馈引起的信号丢失、主动漂移补偿平台减弱热蠕变，虽然有效但成本高昂，且有时无法应对随机事件[8]、[9]。新兴的强化学习和机器学习控制器可动态重新调整成像参数，但这些方法通常需要对现有系统进行大量调整[10]，或仅专注于特定成像模式[11]或伪影类型[12]。软件方法从经典的非学习修复方法[13]、[14]、[15]、[16]、[17]到压缩感知[18]和盲探针反卷积[19]、[20]、[21]，每种方法在狭窄假设下表现出色，但在多类缺陷共存时性能下降。仍然缺乏的是一个能够像专家一样"透过"噪声进行判断、同时保持纳米级保真度的自动、数据驱动工具。

生成扩散模型天然适合此类修复任务，但至今有三个障碍阻碍了它们在SPM图像分析中的应用：(i) 在互联网照片上预训练，与灰度高度图差异巨大；(ii) 社区要求像素级精确的连续性，而非仅仅合理的纹理；以及(iii) 收集数百万张标注SPM图像的不切实际性。

因此，本研究旨在通过适应BrushNet [22]——一种双分支扩散架构，将掩码图像特征与生成噪声解耦——到SPM图像分析领域来弥合这一差距。本研究不重新训练所有权重，而是采用低秩适应（LoRA）方法[23]，在精心挑选的数百张扫描图像上微调不到0.2%的参数。选择LoRA而非更重的方案如DreamBooth [24]或ControlNet [25]，是因为它保留了预训练先验，避免了显式结构条件化，且可在商用硬件上运行（比较细节见本文讨论部分）。

在本研究中，掩码通过定制的Segment Anything Method（SAM）生成并手动修剪；忽略区域损失丢弃不确定像素，使得即使轻微污染的图像也能贡献于学习。在SPM InpBench（我们构建并公开提供的基准）上进行评估时，LoRA微调的BrushNet将PSNR（峰值信噪比）提高了6.61 dB，感知误差比零样本推理减少了一半，同时将硬件占用从四张高显存GPU（每张17–19 GB）降低到一张商用显卡（7–21 GB）。该模型可泛化到高度、振幅和相位通道，并能利用相位通道异常标记高度图中通常难以通过视觉检查发现的对应伪影。

据我们所知，在SPM图像分析领域，通过将伪影去除视为广义修复问题并提供首个针对科学灰度图像的基于扩散的解决方案，该方法降低了新手的入门门槛，并为专家挽救了不可替代的数据集。

本文其余部分描述了数据集、模型架构和训练方案（方法部分）；性能定量评估以及在真实实验数据上的应用展示（结果部分）；以及与传统方法的比较、当前局限性的讨论和未来改进方向（讨论部分）。

章节摘要

SPM伪影分类体系

表1根据物理来源和视觉影响对常见的SPM伪影进行了分类，并标识了本研究所针对的目标。具体而言，我们解决了通过传统滤波或校准方法难以解决的结构性退化问题，包括线扫描信号丢失、增益相关噪声、探针引起的方向性拖尾和相位跳变伪影。相比之下，周期性条纹噪声或全局热漂移等较简单的问题通常可以通过已建立的方法有效缓解。

评估指标依据

所有评估指标均在掩码区域内计算，仅评估模型操作区域的修复质量。我们采用以下评估参数：峰值信噪比（PSNR [26]）和结构相似性指数（SSIM [27]）用于量化像素级保真度，学习感知图像块相似性（LPIPS [28]）用于基于深度特征嵌入测量感知相似性。此外，均方误差（MSE [29]）也进行了计算以保证完整性。

基于基准的定量评估

接下来，我们在三种不同设置下对修复性能进行基准测试：即仅测试推理、完整BrushNet重新训练和基于LoRA的微调。定量结果见表2和表3，代表性视觉示例见图2。补充信息（SI）中的2.4节和图S2展示了当前SPM InpBench数据集之外更多关于真实实验伪影的案例研究。更多修复视频可在补充视频中找到。

真实世界SPM数据上的定性修复

为了确认我们的基准结果在真实SPM条件下转化为切实收益，接下来我们将优化的LoRA增强BrushNet应用于真实实验数据集。具体而言，我们展示了该模型如何有效处理常见的真实世界伪影：(i) 线扫描信号丢失；(ii) 探针引起的方向性拖尾；以及(iii) 相位跳变事件。这些伪影经常干扰实际的纳米级成像工作流程，且很多时候需要重复扫描才能……

文本提示在SPM图像修复中的有效性与必要性

在基于扩散的生成模型中，文本提示通常通过预训练文本编码器（如CLIP [30]，对比语言-图像预训练）提供语义条件来引导图像合成。原则上，详细的文本描述可以指定材料类型、扫描分辨率和成像通道，通过使模型先验与领域特定知识对齐来潜在地改善修复效果。然而，这种文本条件化是否真正转化为可衡量的……

结论

本研究表明，最小化微调可以将通用的扩散骨干网络转化为科学图像的专业修复工具。将秩约束的LoRA适配器注入BrushNet，在保持Stable Diffusion丰富先验的同时，使网络在单个工作站GPU上转向SPM特定纹理。SPM-InpBench上的定量提升在真实实验室数据上转化为定性改进，挽救了否则将被丢弃的帧。

除即时……

方法

本节详细介绍了训练语料的构建、掩码生成流程、LoRA适应的BrushNet架构、损失与忽略区域策略、训练计划以及本研究中使用的评估指标。

CRediT作者贡献声明

魏子伟：撰写——初稿，可视化，验证，调查，形式化分析，数据整理。沈瑶：可视化，验证，数据整理。卢万恒：可视化，验证，调查，数据整理。曾开洋：撰写——审阅与编辑，监督，资源，项目管理，方法学，形式化分析，概念化。

资助

本研究得到新加坡教育部（MOE）通过新加坡国立大学（NUS）学术研究基金（编号A-0009122-01-00）的支持。魏子伟感谢NUS研究奖学金（产业相关）对NUS博士项目的支持。

利益冲突声明

作者声明他们没有已知的竞争性经济利益或个人关系可能影响本文报告的工作。

致谢

感谢陈翰林先生（新加坡国立大学计算机科学系）、曾启彬博士（新加坡科技研究局材料研究与工程学院）、彭国辰先生、何世华女士和许春雷女士（新加坡国立大学机械工程系）在提供训练数据和领域指导方面的帮助。作者感谢新加坡国立大学Ho Ghim Wei教授在本研究启动期间的宝贵讨论，以及她对卢博士参与本研究的支持。

魏子伟 | 沈瑶 | 卢万恒 | 曾开洋