电子显微镜图像中的纳米粒子分割：从系统的数据集准备到深度生成增强技术

《Materials Today Physics》：Nanoparticle segmentation in electron microscopy images: From systematic dataset preparation to deep generative augmentation

　　瓦伦·阿吉特（Varun Ajith）| 阿尼迪亚·帕尔（Anindya Pal）| 皮亚利·查特吉（Piyali Chatterjee）| 阿米特·库马尔·查克拉博蒂（Amit Kumar Chakraborty）| 萨扬塔里·戈什（Sayantari Ghosh）
印度杜尔加普尔国立理工学院（National Institute of Technology Durgapur）物理系

**摘要**
纳米材料的研究在很大程度上依赖于通过电子显微镜（EM）图像对纳米颗粒进行精确的表征。图像对比度低、颗粒几何形状复杂以及标记数据的稀缺使得这一过程自动化变得极其困难。虽然手动标注需要大量时间和精力，但传统的深度学习模型通常需要庞大的数据集才能可靠地运行。为了克服这些缺点，我们提出了一种三阶段的深度学习架构，该架构仅使用少量监督样本就能准确分割数据。我们使用了一组由扫描电子显微镜（SEM）获取的20张WO3纳米颗粒显微照片的小型数据集来创建自己的数据集，并在第一阶段训练所提出的模型。尽管数据集规模较小，该模型仍能有效学习并关注具有形态学意义的纳米颗粒结构，同时抑制背景噪声和成像伪影。在第二阶段，将训练好的分割模型集成到受CycleGAN启发的生成框架中，以合成反映实际样品形态多样性和复杂性的真实EM图像-掩模对。最后，这些合成样本被主动纳入训练过程，从而扩充了原始数据集并显著提高了分割性能。通过将这种数据生成直接嵌入学习流程中，我们的方法即使在数据极度稀缺的情况下也能实现稳健且形态学上准确的分割。实验验证表明，在地面真实注释有限的复杂颗粒形态情况下，性能得到了显著提升。

**引言**
由于其独特的尺寸和形状依赖的物理、化学及电子特性，纳米材料在现代科学和技术中占据核心地位[1]。在纳米尺度上，量子限制和增强的表面积与体积比等现象产生了大块材料所不具备的功能[2]。这些特性支撑了广泛的应用领域：在催化领域，纳米颗粒提供了化学转化的活性表面；在能源存储和转换方面，它们使得高容量电池、燃料电池和光催化系统成为可能；在生物医学领域，它们被用于药物递送、成像和生物传感[3]、[4]、[5]、[6]、[7]。在这些领域中，性能与纳米尺度形态、颗粒大小分布和聚集行为密切相关。因此，准确的形态学表征是必不可少的。

电子显微镜（EM）技术，如扫描电子显微镜（SEM）[8]和透射电子显微镜（TEM）[9]，仍是解析纳米尺度特征的金标准。然而，从EM图像中提取定量信息需要对纳米颗粒进行精确分割，这一直是一个持续的挑战。纳米颗粒通常表现为形状不规则的对象，被密集的簇遮挡，并嵌入包含成像伪影的噪声背景中[10]。手动分割这类图像既耗时又需要专业知识，而传统的经典图像处理流程在变化较大的成像条件下往往缺乏鲁棒性。这里的独特挑战在于，分割单张显微照片可能需要材料专家花费数小时仔细工作来追踪复杂的晶界或微小沉淀颗粒。此外，新的合金或特定的热处理条件可能只会产生少量独特图像，使得传统的大数据方法无法应用于这些问题。显微照片可能因蚀刻技术、放大倍数和设备设置的不同而差异巨大，这常常导致在一个实验室训练的模型无法应用于另一个实验室或不同实验条件下的数据。

深度学习架构，特别是卷积神经网络（如U-Net及其衍生模型），在生物医学成像及相关领域展示了成功[11]。然而，它们对大型、高质量标注数据集的依赖限制了其在纳米科学中的实用性，因为在这些领域中，地面真实掩模稀缺且生成成本高昂。传统的增强方法（例如裁剪、旋转、步长调整）仅能 superficially 扩大数据集规模，并不能引入真正的形态多样性，常常导致冗余和过拟合[12]。我们在这项工作中的目标是通过引入少样本生成（few-shot generation）来解决这一问题。

**生成建模的最新进展**
特别是生成对抗网络（GANs），为解决这些限制提供了有希望的途径[13]。尽管GANs在创意领域和风格转换中得到了广泛应用，但它们在纳米材料研究中生成科学上有意义数据的潜力尚未得到充分探索。虽然基于GAN的架构可以学习材料的风格并生成物理上合理的合成显微照片，但在少样本环境下训练生成模型仍然具有挑战性。在这里，我们旨在设计一种基于GAN的少样本生成方法，该方法利用必要的反馈进行训练，使得合成图像及其自动生成的标签用于训练分割网络。通过捕捉多样的纳米颗粒形态，GANs可以丰富训练数据集并提高分割性能，尤其是在数据稀缺的情况下。因此，我们进行这项研究的动机是：
- 自行合成纳米颗粒，以确保系统的合成技术、放大倍数和设备设置；
- 使用小规模图像集，专注于在少样本环境下取得的改进；
- 基于GAN的增强方法，设计一种方法论流程，仅使用少量独特图像即可通过生成增强实现可靠的分割，以解决材料科学领域中的这一常见问题。

在这项工作中，我们提出了一个三阶段框架，将分割和生成集成在一个闭环中用于纳米颗粒图像分析。首先，所提出的模型在有限的标注SEM图像集上进行训练，以达到基线分割性能[11]、[14]。其次，采用基于CycleGAN的Style U-Net，在分割掩模的条件下生成真实的纳米颗粒图像，通过PatchGAN损失和注意力机制使模型了解颗粒形态，从而引入超出传统增强的结构多样性[15]。最后，将合成图像-掩模对重新纳入训练数据集，逐步提升模型的性能。在这种架构中，GANs不仅被视为实现视觉真实性的工具，还是纳米科学中数据集扩展和模型泛化能力的积极组成部分。

**主要贡献**
- 我们使用基于补丁的样本和手动标注的分割掩模，开发了一个内部的WO3纳米颗粒SEM数据集。该数据集捕捉了多样的形态，同时减少了冗余，使得在数据稀缺的情况下能够进行稳健的评估；
- 我们引入了一种基于Attention U-Net和Style U-Net生成器的模型，在CycleGAN框架内合成结构上真实的纳米颗粒图像，从而比传统增强方法提供了更丰富的形态多样性[15]；
- 我们展示了一种闭环策略，其中合成图像-掩模对被重新纳入训练过程，在数据稀缺条件下显著提高了分割准确性和泛化能力。

本文的其余部分组织如下：第2节描述了该领域最近的研究工作并指出了研究空白。第3节和第4节分别讨论了数据集的整理和所提出的方法论。第5节概述了实验细节和评估指标，并报告了实验结果。最后，我们在第6节总结了关键观察结果。为了便于重现，我们提供了代码库，具体信息见“数据和代码可用性”部分。

**文献综述**
由于扫描电子显微镜（SEM）图像中纳米颗粒的对比度低、形态复杂以及与背景区域的纹理相似性，其分割面临重大挑战。传统的图像处理方法（如阈值分割、分水岭分割和基于边缘的技术）已被广泛使用，但在处理遮挡和对比度变化时常常效果不佳[16]、[17]、[18]。最近，基于深度学习的分割模型变得备受关注。

**WO3纳米颗粒的化学合成**
选择氧化钨（WO3）作为代表性纳米材料，是因为它在能源、传感和催化应用中具有成熟的相关性，同时其形成的独特形态非常适合用于基准分割任务。为了获得纳米颗粒样本，我们采用了水热合成路线，该方法能够产生粒径可控且相纯度高的均匀晶体。

**方法论**
为了解决数据极度稀缺情况下纳米颗粒分割的挑战，我们提出了一个三阶段流程，有效结合了分割和生成建模。我们的方法首先利用Attention U-Net进行初步分割（第1阶段），然后使用定制的CycleGAN框架生成合成电子显微镜（EM）图像（第2阶段）。最后，在第3阶段，通过反馈循环用这些合成图像-掩模对扩充训练数据集以改进模型性能。

**合成数据的选择性使用**
评估了两种训练策略：（i）使用通过广泛步长调整和旋转获得的全部50张真实图像；（ii）使用20张非重叠的真实图像以及从保留的步长调整图像生成的合成图像-掩模对。与第二种策略相比，第一种策略始终获得了更高的Dice分数和F分数。补充材料中的表S1显示了第一种策略的定量结果。

**讨论与结论**
本研究提出了一种实用的三阶段框架，将注意力驱动的分割与生成增强紧密结合，以解决数据极度稀缺情况下的纳米颗粒EM分割问题。从仅20张手动标注的非重叠SEM图像开始，改进后的Attention U-Net学习了稳健的形态学先验（第1阶段）。这些先验指导CycleGAN风格的Style U-Net生成器从分割图中合成真实的EM图像-掩模对（第2阶段）。

**作者贡献声明**
瓦伦·阿吉特（Varun Ajith）：撰写——原始草稿、可视化、软件开发、数据分析、正式分析、数据整理；
阿尼迪亚·帕尔（Anindya Pal）：撰写——原始草稿、可视化、软件开发、数据分析、正式分析、数据整理；
皮亚利·查特吉（Piyali Chatterjee）：数据整理、数据分析；
阿米特·库马尔·查克拉博蒂（Amit Kumar Chakraborty）：验证、资源协调；
萨扬塔里·戈什（Sayantari Ghosh）：撰写——审稿与编辑、监督、资源协调、方法论设计、概念构思。

**利益冲突声明**
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

**致谢**
作者感谢杜尔加普尔国立理工学院先进材料卓越中心的技术助理Shambhu Sarkar先生，感谢他记录了本文中使用的高质量FESEM图像。