
-
生物通官微
陪你抓住生命科技
跳动的脉搏
ThreeF-Net:基于Transformer与CNN细粒度特征融合的乳腺超声图像分割方法
【字体: 大 中 小 】 时间:2025年06月16日 来源:Computers in Biology and Medicine 7.0
编辑推荐:
为解决乳腺超声图像中病灶边界模糊、形状不规则及强度分布相似导致的低分割精度问题,研究人员提出ThreeF-Net网络,通过Transformer辅助双编码器架构(TDE)和动态细粒度卷积(DFC)模块,实现局部与全局特征协同学习。实验表明,该模型在三个公开数据集上超越现有方法,为乳腺癌早期诊断提供高精度分割工具。
乳腺超声图像分割是乳腺癌早期诊断的关键环节,但病灶与正常组织的相似强度分布、不规则形态及模糊边界,使得传统卷积神经网络(CNN)难以精准捕捉长程依赖关系,导致分割精度受限。尽管U-Net及其变体(如U-Net++、Att-Unet)在医学影像领域表现优异,但固定感受野的卷积操作仍无法有效建模全局特征。与此同时,Transformer虽能通过自注意力机制(self-attention)解决长程依赖问题,却因缺乏CNN的归纳偏置(inductive bias)而在小规模医学数据上表现欠佳。这一矛盾促使盐城工学院的研究团队提出ThreeF-Net,通过融合CNN与Transformer优势,突破现有技术瓶颈。
研究团队采用Transformer辅助双编码器架构(TDE),其中TDE-C分支专注局部特征提取,TDE-T分支建模全局上下文;设计全局分组特征增强模块(GGFE)优化特征融合,并引入动态细粒度卷积(DFC)模块动态调整卷积核以提升边界分割精度。实验基于BUSI、BUS等公开数据集,通过Dice系数、IoU等指标验证模型性能。
Trans-Dual Encoder Architecture (TDE)
通过并行CNN与Transformer分支,TDE实现局部细节与全局语义的协同学习。CNN分支利用卷积模块捕捉病灶细微结构,而Transformer分支通过自注意力机制建模长程依赖,解决模糊边界问题。
Global Group Feature Extraction (GGFE)
该模块将CNN提取的局部特征与Transformer生成的全局特征按通道分组融合,增强多尺度特征表示能力,显著提升复杂形状病灶的分割稳定性。
Dynamic Fine-grained Convolution (DFC)
DFC通过动态卷积核调整机制,结合低层高分辨率特征优化边界感知。实验表明,DFC使病灶边缘分割错误率降低23.7%,尤其适用于微小病灶。
实验结果
在BUSI数据集上,ThreeF-Net的Dice系数达89.2%,较SKU-Net提升4.5%。消融实验证实,TDE与GGFE联合使用可使IoU提高8.3%,验证了模块设计的有效性。
讨论与结论
ThreeF-Net的创新性体现在三方面:其一,TDE架构首次在乳腺超声分割中实现CNN与Transformer的优势互补;其二,GGFE模块通过分组特征融合解决传统方法忽略的跨尺度关联问题;其三,DFC模块为动态卷积在医学影像中的应用提供新范式。该研究发表于《Computers in Biology and Medicine》,其技术路线可扩展至其他医学图像分割任务,如甲状腺结节或肝脏肿瘤分割。
值得注意的是,ThreeF-Net仍存在计算复杂度较高的问题,未来可通过轻量化设计进一步优化。研究团队强调,该模型的临床价值在于为计算机辅助诊断(CAD)系统提供高精度分割工具,有望提升乳腺癌早期筛查效率。
生物通微信公众号
知名企业招聘