CA-UNet：整合方向感知多尺度卷积与多尺度自适应稀疏注意力的超合金共晶实时分割模型

《Image and Vision Computing》：CA-UNet: Real-time segmentation model for superalloy eutectics integrating direction-awared multi-scale convolution and multi-scale adaptive sparse attention

　　

-提出了一种高效的实时图像分割双路径网络。
-提出DMConv以约束边缘特征，丰富局部模型信息。
-提出MASA以建模全局关键特征并提高分割精度。
-提出MS-FFN实现特征信息的多级融合。
-CA-UNet已应用于多个数据集并取得最优性能。

引言

镍基高温合金是以镍为基体的高温合金，具有高强度和优异的抗氧化、抗高温腐蚀性能。它是航空发动机、陆基燃气轮机、核反应堆及其他先进系统核心热端部件的关键材料。在铸造高温合金的过程中，由于元素偏析会形成γ-γ′共晶组织。这些共晶组织会恶化合金性能，进而影响镍基高温合金部件的全生命周期质量。因此，快速准确地检测镍基高温合金中的共晶含量对于材料性能研究具有重要意义。然而，由于共晶组织形貌多样、纹理分布不均匀，且共晶与背景之间对比度低，共晶组织的高精度像素级分割仍然是一个主要挑战[1]。

现有的分割模型主要基于卷积神经网络（CNN）和Transformer。CNN在提取局部特征方面具有强大的能力和计算效率，在图像分割中取得了显著成功。然而，单一的降采样模式对细节保留和上下文理解施加了相当大的限制。为解决这一问题，Ronneberger等人提出了UNet架构，引入了带有跳跃连接的编码器-解码器结构，有效保留了更精细的细节并提高了精度[2]。继UNet架构的成功之后，各种U形分割模型相继被提出，如UNet++[3]、DenSeUNet[4]和HHENet[5]。然而，CNN受限于卷积核固有的感受野，这限制了其捕获长程空间依赖性和全局语义信息的能力。这在处理形貌复杂的图像时往往导致性能不理想[6]。为克服这一限制，研究人员提出了三种策略。一种策略是使用膨胀卷积扩大感受野以捕获上下文信息，如AttSegCrack[7]和DSAFNet[8]。然而，简单地引入膨胀卷积可能会破坏提取信息的完整性并削弱相邻像素之间的相关性，从而产生网格伪影。第二种策略是使用注意力机制建立上下文关系，如MambaLiteNet[9]和Hetero-UNet[10]。然而，网络中大量使用注意力机制会增加计算成本。为了平衡分割精度和计算成本，金字塔框架被提出，如SAM-UNet[11]和Pyramid-MixNet[12]，它们通过逐步缩小特征图来降低计算负担。尽管付出了这些努力，有效捕获长程空间依赖仍然是此类方法面临的持续挑战。

受Transformer在自然语言处理（NLP）和计算机视觉领域取得的成功启发，自注意力机制因其捕获全局依赖性和强调图像关键特征的能力而受到广泛关注。2021年，视觉Transformer（ViT）成功将Transformer架构引入视觉任务[13]，随后被应用于图像分割。由于该方法可以通过注意力机制显式建模像素之间的长程依赖关系，Hiformer[14]、ASSANet[15]和Segformer[16]等分割模型已经超越基于CNN的方法，并在图像分割中得到了广泛应用。

然而，ViT仍有一些局限性。例如，ViT包含大量参数且在小数据集上表现不佳。此外，ViT难以有效提取低级特征，导致对小对象的预测不准确。此外，图像处理中使用的线性变换限制了其捕获局部图像结构（如边缘、线条和形状）的能力[17]。Transformer在长程建模方面具有显著优势，而CNN可以有效提取局部特征。基于此，融合CNN和Transformer的方法成为图像分割的有前景的替代方案。这些模型利用CNN的卷积操作捕获图像中的局部特征，同时使用Transformer架构提取全局信息。最终，通过结构设计和融合机制的协同作用，实现局部与全局信息的有效整合，Brau-net++[18]、FCT-Net[19]和PMA-Net[20]就是明证。上述研究表明，CNN与Transformer的融合已成为开发轻量级、高性能图像分割模型的关键策略。

基于以上分析，本文介绍了一种基于CNN和Transformer的轻量级实时图像分割模型，称为CA-UNet。它由三个关键组件构成：DMConv、MASA和MS-FFN。具体而言，DMConv使模型能够感知边界、纹理和局部结构。MASA实现全局特征的高效建模。MS-FFN能够更有效地在高维特征空间中整合全局和局部信息，进一步细化并增强特征表示。为实现不牺牲精度的实时分割，CA-UNet并非仅仅是模块的集合，而是一个资源感知的协同系统。其核心逻辑在于自适应计算分配：MASA动态过滤掉无关的token以消除冗余的全局计算；DMConv利用方向先验将算力严格集中在关键结构边界上；MS-FFN则高效地桥接这两条路径以防止特征重复提取。这种协同设计形成了一条完整的逻辑链，确保每一份计算成本都能直接转化为有意义的分割性能。在多个公开数据集上进行了实验，结果表明CA-UNet始终优于其他最先进（SOTA）模型。图1展示了CA-UNet与其他SOTA模型在EH300数据集上的实验结果。x轴表示以FLOPs（G）为单位的计算成本，y轴表示在该数据集上取得的mIoU（%）。不同颜色的圆圈对应不同的分割模型，圆圈直径表示以Params（M）为单位的参数量。该可视化提供了对各个模型性能更为直观的对比。CA-UNet以较少的FLOPs和参数取得了最高的mIoU。

本研究的主要贡献总结如下：

（1）用于高效全局建模的MASA模块。与标准自注意力的二次复杂度或启发式空间剪枝中的潜在信息损失相比，我们的MASA模块实现了相对于空间分辨率线性复杂度的全局上下文建模。它不显式选择空间token，而是重新表述注意力机制，在通道维度上建模全局依赖。通过对基于通道的关联图施加ReLU激活实现稀疏化，它自适应地过滤冗余的通道交互，同时严格保留完整的空间细节。线性复杂度OC2HW源于转置注意力公式（计算C×C矩阵而非HW×HW矩阵），而ReLU稀疏化通过零化负的通道相关性提供了额外的常数倍削减。这提供了一种更为系统化且高效的捕获长程上下文的方法，同时不损害金属共晶相的结构完整性。

（2）用于结构感知特征提取的DMConv模块。常规卷积甚至某些边缘引导变体通常对所有空间方向等权处理，而我们的DMConv模块引入了显式的边缘方向约束。这使得模型能够保留关键结构信息并增强局部特征表示，尤其是沿对象边界处，这是标准CNN面临的常见挑战。

（3）用于协同特征融合的MS-FFN模块。标准前馈网络（FFN）或简单的门控变体往往不足以融合来自不同路径的异构特征。我们的MS-FFN专门设计用于对来自MASA和DMConv分支的互补特征进行多维融合，从而最大化特征利用并提升整体分割性能。

（4）广泛的验证和优异的性能。我们在ADE20K、VOC2012以及自定义的EH300数据集上进行了全面实验。结果表明，CA-UNet仅以5.34M参数和17.19 GFLOPs即可取得最先进性能，证明其具有出色的泛化能力和效率。

章节节选

相关工作

基于CNN的方法。由U-Net[21]开创的U形架构已成为医学图像分割的基石，因为它通过跳跃连接在融合多尺度特征方面十分有效。随后，研究人员将该U形结构应用于自动驾驶[22]、图像重建[23]和航空航天部件分割[24]等任务。UNet++[3]和UNet 3+[25]等后续工作进一步改进了该结构，以减小语义鸿沟并提升性能。

方法

本研究提出了一种名为CA-UNet的图像分割模型，专门针对镍基γ-γ′共晶独特的金相挑战（如其各向异性形貌和复杂拓扑网络）而设计。与通用混合模型不同，我们的架构整合了卷积神经网络（CNN）和Transformer的结构优势，以提升分割精度和效率。这些模块的设计严格由物理特性驱动。

实验设置与训练细节

实验设置：实验采用CombinedLoss作为损失函数，它结合了DiceLoss、FocalLoss和CrossEntropyLoss，损失权重分别为1.0、0.5和0.3。使用Adam优化器。输入图像分辨率为512 px × 512 px，批量大小为8。学习率调度采用余弦策略，模型初始化采用PyTorch默认初始化方法。模型选择标准基于平均交并比。

结论

本研究提出了一种准确高效的双专家路径实时分割网络CA-UNet，旨在解决复杂条件下分割精度与效率之间的平衡问题。通过MASA稀疏全局建模、DMConv方向感知局部提取与MS-FFN高效融合的协同作用，我们成功在低计算成本下实现了高精度。ADE20K和VOC2012数据集的实验结果表明，CA-UNet取得了出色的表现。

作者贡献声明

郑志帅：审阅与编辑稿件，撰写初稿，方法学，形式化分析。
杨冰：项目管理，数据整理，概念设计。
李竹铁：调查研究，资金获取。
王吉星：监督指导，资源支持。
邹佳佳：可视化，验证。

利益冲突声明

作者声明没有已知的竞争财务利益或个人关系可能影响本报告中所述的工作。

致谢

本工作得到青岛自然科学基金项目"基于卷积神经网络的镍基高温合金金相分析与评估技术"（项目编号：25-1-1-219-zyyd-jch）的支持。

郑志帅 | 杨冰 | 李竹铁 | 王吉星 | 邹佳佳