MaterialAlphaSAM:一种基于自适应提示(Prompt)与域适应(Domain Adaptation)的复杂钛合金显微组织初生α相分割方法

《Metals》:MaterialAlphaSAM: An Adaptive Prompting and Domain Adaptation-Based Segmentation Method for the Microstructure of Complex Titanium Alloys

【字体: 大 中 小 】 时间:2026年07月03日 来源:Metals 3.1

编辑推荐:

  在高倍钛合金金相显微图像下,针对初生α相形态复杂、分布离散且相界微弱的特点,研究人员在少样本(Few-Shot)场景下实现精确分割仍具挑战。为此,研究人员提出MaterialAlphaSAM——一种基于Segment Anything Model(SAM)构建

  
在高倍钛合金金相显微图像下,针对初生α相形态复杂、分布离散且相界微弱的特点,研究人员在少样本(Few-Shot)场景下实现精确分割仍具挑战。为此,研究人员提出MaterialAlphaSAM——一种基于Segment Anything Model(SAM)构建的轻量级域适应分割框架。该方法利用SAM强大的全局上下文建模能力,引入几何约束提示先验(Geometry-Constrained Prompt Prior, GCPP)模块与域适应适配器(Domain-Adaptation Adapter, DAA)模块。GCPP模块显式嵌入几何与形态学先验以生成语义引导的提示(Point Prompt),有效缓解提示冗余与噪声敏感性;DAA模块对编码器特征进行跨域对齐,缩小自然图像与金属显微组织间的域差异(Domain Discrepancy)。大量实验表明两模块均能稳定提升分割性能。在钛合金数据集上,MaterialAlphaSAM达到89.53% Intersection over Union(IoU)与94.40% F1分数,优于FCN、UNet、DeepLabV3、PSPNet及原始SAM,对弱边界、细小α相及复杂背景干扰具有更优鲁棒性。
论文解读:MaterialAlphaSAM——基于SAM的自适应提示与域适应钛合金初生α相显微组织分割方法
该论文发表于《Metals》。航空制造业中钛合金(如TC4、TC11)的关键承力构件力学性能高度依赖其显微组织特征,尤其是初生α相(Primary α Phase)的体积分数与形貌。传统金相图像处理方法(阈值分割、边缘检测等)在α相边界模糊、粘连及存在杂质干扰时易出现过分割或欠分割,且依赖人工调参;常规全监督深度学习方法(如UNet、DeepLabV3)虽精度较高,但严重依赖大规模像素级标注数据,且泛化能力受限于特定材料体系与成像条件。Segment Anything Model(SAM)作为通用视觉基础模型具备强零/少样本泛化潜力,但直接迁移至金相显微图像时面临两大瓶颈:一是初生α相尺寸离散、空间分布不均导致固定网格提示(Grid Prompt)或遗漏细小颗粒或引入大量无效背景提示,使Mask Decoder判别能力下降;二是自然图像预训练特征与金属低对比度、多尺度纹理显微组织间存在显著域偏移(Domain Shift)。为此研究人员开展本研究,在冻结SAM主体参数的轻量化框架下引入几何约束提示先验(GCPP)与域适应适配器(DAA),实现对复杂钛合金初生α相高精度、少样本分割,并在钛合金自建数据集上验证了方法的有效性与优越性。
主要关键技术方法
研究人员自建钛合金显微组织数据集(原始分辨率2048×2048,裁剪为1024×1024共50幅,按6∶3∶1划分为训练集30张、验证集15张、测试集5张),采用ViT-B预训练权重初始化SAM。所提MaterialAlphaSAM在SAM图像编码器后插入轻量级域适应适配器(DAA),并由几何约束提示先验(GCPP)模块基于编码器输出特征预测前景/背景置信图,经迭代贪心采样生成带空间分散性的点提示(Point Prompt)与低分辨率掩码提示(Mask Prompt),共同送入SAM Prompt Encoder与Mask Decoder。训练时采用复合损失函数(Dice Loss + Focal Loss + Boundary Loss + 提示监督BCE Loss),以余弦退火调整学习率,Batch Size=2,Epoch=10,AdamW优化器,并系统对比了不同编码器解冻(Unfreezing)策略及各模块消融效果。统计验证部分补充5折交叉验证、Bootstrap置信区间估计及Wilcoxon符号秩检验。
研究结果
3.1 实验设置(Experimental Setup)
研究人员采用Intel Xeon E5-2650、NVIDIA L4 GPU工作站,PyTorch 1.8框架,详细说明数据集划分、输入尺寸、数据增强(随机水平翻转与归一化)、训练超参数(初始学习率1×10?3,最小学习率1×10?5,AdamW优化器,余弦学习率衰减)及加载SAM ViT-B预训练权重,为后续对比提供统一基准。
3.2 实验评估指标(Experimental Evaluation Metrics)
研究人员选用交并比(Intersection over Union, IoU)与F1分数(F1-Score)作为核心定量评价指标,明确定义TP(真正类像素数)、TN(真负类像素数)、FP(假正类像素数)、FN(假负类像素数)。
3.3 消融实验(Ablation Experiments)
  • •
    3.3.1 模块级消融实验结果与分析(Module-Level Ablation Experiment Results and Analysis):研究人员在编码器全冻结条件下对比Baseline(SAM+冻结编码器+MLP微调)、Baseline+GCPP、Baseline+DAA及Baseline+GCPP+DAA。结果显示Baseline+GCPP较Baseline IoU提升3.87%、F1提升2.55%;Baseline+DAA较Baseline IoU提升3.73%、F1提升2.44%;Baseline+GCPP+DAA较Baseline IoU提升5.3%、F1提升3.77%。表明GCPP与DAA均可独立增益且具互补效应——GCPP通过几何先验强化模型对初生α相核心区及边界的空间关注,DAA通过特征层跨域对齐缓解自然图像与显微组织表征差异。
  • •
    3.3.2 编码器解冻策略对模型性能影响的分析(Analysis of the Influence of Encoder Unfreezing Strategies on Model Performance):研究人员设计从E0(全冻结)至更深层的逐层解冻方案。Baseline随解冻层数增加先升后降(E3及以上过拟合);引入DAA后模型在浅层解冻(E1)达最优且波动减小,体现更强鲁棒性但仍于E3出现性能下滑;Baseline+GCPP在E3仍可维持甚至提升性能,说明GCPP具正则化作用抑制过拟合;Baseline+GCPP+DAA在E3解冻时取得整体最优分割性能,证明几何提示引导与域适应具协同增益。
  • •
    3.3.3 不同密度网格提示对模型性能影响的分析(Analysis of the Influence of Grid Prompts with Different Sizes on Model Performance):研究人员对比Grid 4至Grid 128等固定网格提示密度与所提GCPP策略。低密度Grid Prompt易漏检细小α相,高密度则引入大量无效提示致性能 plateau甚至下降;GCPP自适应生成具语义一致性的提示点,在IoU与F1-Score上均显著优于各密度Grid Prompt,尤擅捕捉细微颗粒与模糊相界区域。
3.4 对比实验(Comparative Experiments)
研究人员将MaterialAlphaSAM与FCN、UNet、SegNet、DeepLabV3、PSPNet及SAM Baseline进行对比。定量上MaterialAlphaSAM达IoU=89.53%、F1=94.40%,超越所有对比方法(SAM Baseline为IoU=86.75%、F1=92.64%)。定性可视化显示:传统CNN易将β基体纹理或放大标尺误分为α相,DeepLabV3/PSPNet对小目标响应不足,原始SAM对提示位置敏感;MaterialAlphaSAM能准确区分放大标尺等非组织区域,有效分离粘连α相并保留大尺寸α相完整性,对低对比度边界具更优细化分割能力。
讨论与结论翻译
研究人员指出GCPP将金相组织的几何与形态学先验显式嵌入提示生成过程,使提示点由均匀覆盖转为结构感知驱动,优先落于α相稳定核心区从而减少语义歧义,并对模型训练产生隐式正则化抑制过拟合;DAA通过轻量多级特征对齐缓解域偏移,二者协同使模型在中度编码器解冻下达最优。相比现有SAM衍生方法(SAM-Adapter、MedSAM),MaterialAlphaSAM在可训练参数量更少情况下取得更高IoU、F1-Score、Precision与Recall,证明领域知识引导的结构化提示比单纯增大微调参量更高效。方法目前在数据多样性覆盖、深层解冻过拟合风险及高分辨率推理效率方面仍有优化空间,未来可拓展验证至其他工业或跨域场景。
研究结论翻译如下:
本文围绕高倍显微图像中初生α相精细分割这一材料分析任务,提出融合几何约束提示先验(GCPP)与域适应机制(DAA)的MaterialAlphaSAM框架。基于SAM强全局建模能力,该方法系统性引入结构感知提示生成策略与轻量级域适应模块,以应对显微图像尺度分布不均、形态复杂及相界低对比度等固有特性,有效弥合通用视觉模型与材料科学细粒度分割任务间的语义鸿沟与特征分布差异。实验证明GCPP能将显微组织几何形态学先验显式嵌入提示构建过程,使提示信号由均匀覆盖转为结构感知引导,显著提升模型对目标区域核心拓扑结构及模糊相界的空间关注度;域适应模块通过缓解自然图像与显微组织间的跨域特征分布偏移,改善少样本设定下的训练稳定性与分割鲁棒性。消融研究进一步验证GCPP与DAA功能互补——前者提供稳定且具有判别力的结构化提示约束,后者增强特征表示的域一致性,二者协同使模型在适度编码器解冻深度下取得整体最优性能,关键指标IoU与F1-Score显著优于传统卷积神经网络方法及采用规则化网格提示的原始SAM策略。MaterialAlphaSAM不仅在精度与鲁棒性上显著提升初生α相显微组织分割质量,也为通用视觉基础模型在材料科学领域的深度适配提供了可推广的技术范式,即在有限标注条件下通过将领域知识转化为结构化提示信号并结合轻量级特征空间适应机制,实现对复杂显微组织结构的高保真解析。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号