FMAS-TransUNet:一种用于复杂微观结构聚集识别的深度学习方法

《Neurocomputing》:FMAS-TransUNet: A deep learning approach for complex microstructure agglomeration recognition

【字体: 大 中 小 】 时间:2026年04月26日 来源:Neurocomputing 6.5

编辑推荐:

  纤维母粒微观结构聚集识别中提出FMAS-TransUNet框架,结合Swin Transformer与双通道上采样模块,通过特征增强和融合提升识别精度至95.65%。

  
魏冰|张颖颖|陈昂昂|张浩宇|高磊|王华平
信息科学与技术学院,数字化纺织与服装技术工程研究中心,教育部,东华大学,上海,201620,中国

摘要

在高浓度纤维母粒中,由于范德华力、电荷相互作用和排斥屏蔽效应,颗粒聚集是不可避免的。这种聚集会阻碍母粒在基材中的分散,导致颜色和功能分布不均,最终影响产品质量和性能。因此,从纤维母粒中自动、可靠且客观地识别微结构聚集对于全面理解工艺-微结构-性能关系至关重要。在本文中,我们提出了FMAS-TransUNet,这是一种专为扫描电子显微镜(SEM)纤维母粒聚集识别设计的新型Swin Transformer U-Net识别架构。FMAS-TransUNet将Swin Transformer集成到修改后的U-Net架构的编码器和解码器中,以提高全局特征提取能力。此外,解码器中设计了一个双通道上采样模块,该模块通过双层信息融合增强基于传统跳跃连接的识别性能。还引入了一个双特征增强模块,该模块可以自适应地重新校准编码器用于跳跃连接的特征图,以增强有意义的特征并抑制无关特征。为了评估FMAS-TransUNet的性能,我们构建了一个独特的纤维母粒SEM数据集(SEM-DHU-125)。实验结果表明,FMAS-TransUNet的性能超过了现有的最先进方法,识别精度从90.09%提高到了95.65%。

引言

纤维母粒的工业生产是一个连续且复杂的过程,从原材料的准备到最终产品的包装。该过程始于基础树脂材料和所需各种添加剂的選擇和测试,以确保原材料的高质量[22]。然后,通过精确计量和预处理,将这些材料送入高效混合设备中,在受控条件下彻底混合,以实现成分的均匀分布[25]。均匀混合后的原材料随后被送入熔融挤出机,在高温下树脂熔化,并通过双螺杆的强剪切作用与添加剂进一步混合,形成高度均匀的熔体[1]。这种熔体通过特定的模具挤出后迅速冷却并固化成大小均匀的颗粒,即纤维母粒[40]。在纤维母粒的生产过程中,一个主要且不可避免的问题是聚集效应,这直接影响最终产品的质量和加工性能。聚集是指由于范德华力、电荷相互作用和排斥屏蔽效应,在生产过程中形成微小的色母粒聚集体[10]。这种现象不仅影响母粒的颜色均匀性和物理性能,还可能导致后续纤维生产中的加工困难,如过滤器堵塞、产品缺陷增加和纤维强度降低[36]。
评估纤维材料性能的传统方法使用各种技术和工具[38]。这些方法旨在全面了解纤维的物理、化学和机械性能[20]。最常见的方法是使用显微镜检查纤维的内部结构。放大倍数有助于观察表面特征、直径变化和缺陷。张等人[42]提出了一种用于检测碳纤维材料损伤的特征提取聚类算法。他们的方法使用热成像,并结合变间隔搜索和精确聚类来减少冗余计算。然而,它仍然需要针对不同类型的缺陷进行手动参数调整,这限制了其在动态生产环境中的适应性。类似地,卡图宁等人[23]将超声波检测与X射线计算机断层扫描相结合,以减少损伤量化的偏差。虽然有效,但他们的方法需要多种成像模式,增加了复杂性和成本。邓等人[13]使用有限元模型进行脉冲涡流测试来检测碳纤维复合材料的表面缺陷。然而,他们的敏感性分析依赖于预定义的材料参数,这些参数可能与实际生产情况不符[14]。这些传统方法各有优势,但通常涉及复杂的工作流程、昂贵的设备和耗时的过程。这使得它们难以集成到工业环境中。为了解决这些限制,本研究专注于开发一种统一的自动化缺陷表征评估标准[39]。它优先考虑与生产数据的兼容性,并旨在克服手动干预、多模态依赖性以及模拟与实际条件之间的差异[18]。
深度学习在视觉领域最近取得了显著进展,特别是在图像识别、目标检测和图像生成方面。卷积神经网络(CNN)和生成对抗网络(GAN)[5]等模型使计算机能够高效处理复杂的视觉任务[2],[24]。特别是CNN被广泛用于材料微结构识别。流行的架构如ResNet[19]、VGG[29]和Inception[34]通过分层卷积层提取和分类SEM图像中的特征。例如,M.V.等人[32]提出了一个监督机器学习框架来预测单向纤维复合材料的机械性能。他们的方法分析了横截面加载数据,但严重依赖于手动标记的数据集。这种依赖性限制了其在具有动态生产变化的工业环境中的可扩展性。同样,巴里莱等人[4]开发了一种基于CNN的声发射(AE)波形分类器,用于监测碳纤维增强聚合物(CFRP)中的损伤。然而,他们的方法假设AE信号质量理想,这使得它在实时制造环境中容易受到噪声干扰。卡格拉尔等人[8]使用深度学习基于2D横截面分析预测3D纤维微结构的渗透性。尽管具有创新性,但他们简化的电路类比未能考虑各向异性纤维排列,这对于准确的3D性能估计至关重要。为了提高微结构分析的空间分辨率,郭等人[17]引入了一个基于CycleGAN[46]的流程来增强SEM图像,并基于U-Net进行纤维分割。虽然这种方法提高了时间和空间分辨率,但它难以处理由沉淀物引起的遮挡错误。这些错误通常导致过度分割,从而影响定量分析的准确性。周等人[44]通过开发MPU-Net来解决高温合金中的晶界检测问题。然而,他们的方法在捕捉长距离依赖性和多尺度特征方面存在局限性。这降低了其在复杂纤维网络中进行精确微结构表征的有效性。
深度学习与SEM图像分析的结合正在改变材料科学。它提高了分析速度并实现了性能预测[12]。然而,当前方法经常面临工作流程碎片化、对输入噪声敏感以及对材料异质性的简化假设等挑战。我们的工作通过将特征提取和缺陷量化结合到一个自适应框架中来解决这些问题。该框架强调了对环境变化的鲁棒性,并减少了手动干预的需求。因此,它弥合了实验室规模精度和工业规模适用性之间的差距[43]。
本文利用基于深度学习的最新图像处理技术,深入分析电子扫描隧道显微镜(SEM)捕获的图像[35]。提出了一种新的深度学习框架FMAS-TransUNet,用于识别SEM图像中的纤维聚集微结构。具体来说,Swin Transformer[30]在处理图像时可以高效捕获全局和局部信息。U-Net[33]的编码器部分捕获图像中的高级抽象特征,而解码器部分逐渐恢复图像细节[37]。此外,DFE模块重新校准了跳跃连接中使用的编码器特征图。这三者的结合使FMAS-TransUNet框架在处理复杂的SEM图像时能够更全面和精确地识别分散的超级结构和母粒的作用机制[41]。通过这种方法,该模型在分割聚集颗粒的任务中显示出显著的优势,不仅提高了识别精度,还增强了了对母粒结构的详细理解[21]。本文的主要贡献如下:
  • 1.
    提出了一种名为FMAS-TransUNet的新框架,该框架利用Swin Transformer的分层结构和局部窗口自注意力机制来增强U-Net架构的特征提取能力。
  • 2.
    我们集成了一个双通道上采样模块,并嵌入了一个Swin Transformer模块,使模型能够在跳跃连接中捕获两个尺度的特征。设计了一个DFE模块来调整特征图的权重分布并减少不必要的特征干扰。
  • 3.
    为了验证FMAS-TransUNet的有效性,我们创建了一个用于纤维母粒聚集的基准数据集。实验结果表明,所提出的模型在母粒聚集识别任务中表现出色。
  • 本文的其余部分组织如下。第2节介绍了所提出框架的详细信息。第3节将所提出方法与当前最先进方法进行了性能比较。第4节总结了本文。

    部分摘录

    所提出的方法

    在本节中,我们详细介绍了所提出的FMAS-TransUNet,如图1所示。首先简要概述了FMAS-TransUNet框架。然后详细介绍了基于Swin Transform块的编码器,如图2所示。接着展示了专门为特征图自适应重新校准设计的双特征增强(DFE)模块,如图3所示。最后,介绍了FMAS-TransUNet使用的双通道解码机制。

    实验评估与讨论

    在本节中,我们通过一系列实验评估了FMAS-TransUNet模型的性能,重点关注纤维母粒聚集图像的识别。以下部分详细描述了我们的实验设置和数据准备,以及FMAS-TransUNet网络的实现过程。此外,我们将其性能与其他用于分割纤维矩阵聚集的算法进行了比较。最后,我们进行了消融实验以剖析

    结论与未来工作

    在这项研究中,我们提出了FMAS-TransUNet,这是一种用于纤维母粒聚集识别的扫描电子显微镜图像识别框架。所提出的方法在解码器中引入了双通道上采样模块,以提高对多尺度特征提取的敏感性,同时通过编码器-解码器特征融合实现细粒度细节和全局结构的协同定位。进一步在跳跃连接中加入了双特征增强模块

    CRediT作者贡献声明

    魏冰:撰写 – 审稿与编辑,撰写 – 原始草稿,监督,资源。 张颖颖:撰写 – 审稿与编辑,撰写 – 原始草稿。 陈昂昂:监督。 张浩宇:撰写 – 审稿与编辑,监督,资源。 高磊:监督。 王华平:监督。

    利益冲突声明

    作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。
    魏冰目前是上海东华大学信息科学与技术学院的讲师。他在中国上海东华大学信息科学与技术学院获得了博士学位。2018年至2019年,他是美国罗德岛大学电气、计算机和生物医学工程系的联合博士生。他曾是复旦大学的博士后研究员。他的科学兴趣
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号