《Composites Science and Technology》：An enhanced data augmentation strategy for deep learning-based segmentation of XCT images in variable-angle braided laminates
编辑推荐：
准确表征变角编织层的微观结构特征对理解其力学行为和优化材料设计至关重要。本研究提出结合StyleGAN-XL和CycleGAN的创新数据增强算法，生成高分辨率人工训练图像以扩展微观特征表示，并采用Mask2Former框架结合自主研发的图像拼接与跨层颜色一致性校正算法，实现变角编织层高精度三维重建。结果表明真实数据集存在1°-3°纱线方向偏差，该几何误差解释了实验测量值与理论预测的差异，为结构优化和制造工艺改进提供量化依据。
Kehong Zheng|Jinguang Xu|Xiaoqi Cao|Hao Chen|Lizheng Qiao|Tao Wang|Lei Zhao|Bingjing Qiu|Xiaoying Cheng|Zhenyu Wu
浙江科技学院机械工程学院，中国浙江省杭州市西下，310018
摘要
对变角度编织层压板的精确中观尺度表征对于理解其力学行为和优化材料设计至关重要。在这项研究中，我们开发了一种创新的数据增强算法，该算法利用了这些层压板中观结构的统计特性。通过将StyleGAN-XL和CycleGAN结合起来，我们的方法生成了高分辨率的人工训练图像，这些图像忠实地保留了真实样本的纹理特征。这显著扩展了中观尺度的特征表示，并增强了训练数据集的多样性。我们实现了Mask2Former框架，并系统地评估了真实训练数据集大小、人工训练数据集大小以及训练迭代次数对分割性能的影响。此外，我们开发了一种图像拼接算法，结合了跨切片颜色一致性校正，以实现变角度编织层压板的精确3D重建。我们的分析揭示了实际纱线方向与理想设计规格之间存在1°-3°的角度偏差。这种几何差异解释了实验测量结果与理论预测之间的差异，强调了精确定量表征在结构优化和制造过程改进中的重要性。
引言
变角度编织层压板作为一种具有空间梯度的先进复合材料结构，在承重应用中展示了明显的优势，例如飞机机翼、航空航天机翼盒和风力涡轮机叶片，因为它们能够连续且精确地控制纱线方向[1]、[2]、[3]、[4]、[5]。然而，变角度编织层压板固有的非均匀编织结构导致其中观结构特性显著增加复杂性，包括平面内纱线方向分布、交织密度和压实行为。这些中观结构特性直接影响应力传递路径和局部应力集中的演变，最终对材料的宏观力学响应产生深远影响[6]、[7]、[8]。因此，准确表征变角度编织层压板的中观结构对于阐明其力学性能机制和促进优化结构设计至关重要。
X射线计算机断层扫描（XCT）能够无损且准确地识别复合材料中的内部中观结构特征，包括纱线方向、基体分布和孔隙形态[9]、[10]、[11]、[12]、[13]、[14]。对XCT数字图像进行精确分割对于准确表征复合材料的内部中观结构至关重要。然而，传统的分割技术（如阈值分割[15]、[16]、边缘检测[17]、[18]和分水岭算法[19]、[20]、[21]）由于复合材料XCT图像通常具有较低的对比度和结构复杂性而面临显著限制[22]、[23]、[24]、[25]、[26]。这些方法容易发生过分割、欠分割或中观结构特征的错误识别[27]、[28]、[29]、[30]、[31]，因此不适合复合材料XCT图像分析所需的精细分割。
为了克服这些限制，深度学习技术已被广泛应用于XCT图像分割任务[32]、[33]、[34]、[35]、[36]。其中，经典的语义分割网络U-Net[37]及其衍生模型如U2Net[38]、Swin-Unet[39]和UNet++[40]已成为复合材料XCT图像分割的主流框架，因为它们具有高训练效率和强大的小样本数据集适应性。此外，先进的语义分割网络如DeepLabv3+[41]和PSPNet[42]也被成功引入到复合图像分割研究中，显示出有希望的分割性能。尽管语义分割网络能够精确分割复合XCT图像中存在的不同相，但它们在区分同一特征类内的单个实例方面存在固有限制。例如，它们无法划分相邻纱线之间的边界[43]、[44]、[45]、[46]。基于传统卷积神经网络（CNN）架构的实例分割网络，包括YOLO[47]、Mask R-CNN[48]和SOLO[49]，专注于对象级别的实例区分。然而，在处理具有复杂特征的低分辨率XCT图像时，这些网络通常表现出显著的性能限制，包括频繁遗漏小尺度特征[50]、[51]、[52]，从而无法满足高精度分割的要求。
此外，深度学习方法在分割中的有效性在很大程度上依赖于训练数据集的规模和质量。然而，高质量训练数据集的可用性往往有限。为了解决数据不足的问题，研究人员提出了各种数据增强策略，包括通过图像变换生成训练数据集[53]、使用形态学伪标记技术自动生成纱线轮廓伪标签[54]、基于有限元模拟生成虚拟XCT图像数据集[55]、[56]、[57]。然而，在处理具有紧密结构和复杂形状的变角度编织层压板的XCT图像时，这些方法的增强效果有限，因此无法满足深度网络对多样化训练数据的需求。
为了解决上述问题，本研究提出了一种增强型数据增强策略，旨在缓解变角度编织层压板XCT训练中训练数据集规模有限的挑战。基于此，采用了统一的分割框架Mask2Former [58]、[59]来实现变角度编织层压板XCT数字图像的高精度分割（如图1所示）。首先，对复合试样的XCT图像中的中观结构特征进行了参数化统计分析。根据这些统计结果，使用StyleGAN-XL[60]和CycleGAN[61]算法生成了真实的人工训练数据集。其次，在由真实和人工训练数据集组成的混合数据集上训练了Mask2Former网络，并系统地研究了各种参数对分割精度的影响。最后，成功应用了自编的图像拼接算法和跨层颜色一致性校正算法，以实现变角度编织层压板的精确3D重建。这使得能够定量且准确地表征每个编织层的结构特征以及每层纱线的几何特性。这种高保真的分割和重建不仅提供了关于中观结构异质性及其对宏观力学行为影响的独特见解，还为通过数据驱动调整编织参数和缺陷控制策略提供了实际能力。
部分摘录
材料制备和数据采集
本研究制备了两种样品变体，分别标记为L-1和L-2，它们的尺寸不同，但遵循相同的制备协议。具体制备过程如下：选择由日本Toray提供的T700SC-12K碳纤维作为增强相，并将其编织成三层层压结构，纱线角度分别为±60°、±45°和±30°。基体材料由POLAM 2040环氧树脂和EPOLAM 2042组成
真实数据集生成
为了提高计算效率同时保持图像质量，我们首先将数据位深度从16位压缩到8位，显著减少了数据大小。为了消除扫描过程中产生的边界效应和伪影干扰，从X-Y方向图像序列中移除了L-1样品的64个受影响切片（前31个和后33个）以及L-2样品的59个受影响切片（前28个和后31个）。结果，获得了1578个高质量的切片
结果与讨论
本节系统地研究了四个关键因素对分割模型性能的影响：真实训练数据集的大小、人工训练数据集的大小、训练迭代次数以及样本多样性。对于纱线实例分割任务，使用平均精度（AP）在IoU阈值为0.75 [65]的情况下来评估分割精度。对于孔隙语义分割任务，采用精度指标[66]来评估孔隙
结论
在这项工作中，我们提出了一种有效的数据增强策略，该策略利用了包含真实和人工数据集的混合训练数据集进行训练。这种方法显著提高了模型的分割性能，实现了变角度编织层压板中观结构特征的自动识别和精确分割。此外，本研究还引入了一种图像拼接算法和跨层颜色一致性校正算法
CRediT作者贡献声明
Jinguang Xu：撰写——原始草稿，数据整理。Kehong Zheng：撰写——原始草稿，方法论，调查，正式分析，概念化。Zhenyu Wu：撰写——审阅与编辑，监督，资源获取，概念化。Tao Wang：撰写——审阅与编辑，可视化。Lizheng Qiao：撰写——审阅与编辑，可视化。Hao Chen：监督，资源。Xiaoqi Cao：可视化。Xiaoying Cheng：验证，监督。Bingjing Qiu：验证，
利益冲突声明
Kehong Zheng、Jinguang Xu、Xiaoqi Cao、Hao Chen、Lizheng Qiao、Tao Wang、Lei Zhao、Bingjing Qiu、Xiaoying Cheng和Zhenyu Wu声明他们没有需要披露的利益冲突或财务冲突。
利益冲突声明
? 作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。
致谢
作者衷心感谢来自国家自然科学基金（编号52004245和U22A20182）、浙江省基本公共福利研究计划（编号LY22E040002）、浙江省自然科学基金（编号LQ20E050020）以及浙江科技大学科学基金（编号21022246-Y）的财政支持。
