基于视觉感知的多尺度乳腺超声图像分割与分类多任务学习网络PMSMT-Net的构建与应用

本研究针对乳腺超声(BUS)图像中肿瘤特征复杂、病灶与周围组织强度相似及形态位置多变等挑战，提出PMSMT-Net多任务学习网络。该模型通过视觉感知模块(VPM)模拟人类视觉聚焦机制，结合多尺度空洞卷积(MSDC)和可变残差注意力模块(VR-CBAM)，实现病灶精准分割；分类分支采用迁移学习与集成学习策略，在公开数据集上Dice系数提升3.7%，分类准确率提高3.6%，为计算机辅助诊断(CAD)系统提供新范式。

　　

乳腺癌已成为全球发病率最高的恶性肿瘤，早期诊断对降低死亡率至关重要。乳腺超声(BUS)因其无辐射、低成本等优势成为重要筛查工具，但人工判读存在耗时长、主观性强等问题。当前计算机辅助诊断(CAD)系统面临三大挑战：肿瘤形态大小差异显著、病灶边缘模糊不清、超声图像信噪比低。尽管深度学习在医学影像分析中取得进展，现有方法多忽视分割与分类任务的关联性，且缺乏对人类视觉感知机制的模拟。

浙江的研究团队Ao Su等人开发了PMSMT-Net网络，该成果发表于《Biomedical Signal Processing and Control》。研究创新性整合视觉感知机制与多任务学习框架：分割分支改进U-Net架构，通过VPM模块模拟人眼注意力机制，MSDC捕获多尺度特征，VR-CBAM和RFB-PSC模块优化特征融合；分类分支采用EfficientNet/VGG19/ResNet50预训练模型集成策略。实验使用BUSI等公开数据集，通过数据增强和五折交叉验证确保可靠性。

整体结构
PMSMT-Net采用双分支架构：分割网络基于U-Net改进，编码器嵌入MSDC和VPM模块，解码器集成RFB-PSC（基于感受野的可分离卷积）提升边缘特征提取；分类网络接收VPM输出与分割结果，通过特征融合层输入集成分类器。

数据集
采用BUSI数据集（780张标注图像）和另一个包含1126张图像的数据集，涵盖正常/良性/恶性三类样本，通过随机旋转、亮度调节等数据增强手段扩充训练集。

消融实验
模块有效性验证显示：完整模型Dice系数达89.7%，单独去除VPM或MSDC分别导致性能下降2.3%和1.8%；集成分类器较单模型准确率提升4.2%，证实多模块协同优势。

泛化性保障
采用早停策略和权重衰减抑制过拟合，测试集Dice系数标准差仅0.15，表明模型稳定性。迁移学习使分类任务训练周期缩短60%，准确率仍提升3.6%。

结论与展望
该研究首次将视觉感知机制系统引入BUS分析，PMSMT-Net在分割精度（Dice 89.7%）和分类准确率（94.2%）上均超越现有方法。其创新性体现在：①VPM模块实现类人视觉的病灶定位；②MSDC与RFB-PSC协同解决多尺度特征提取难题；③多任务框架促进特征共享。未来可扩展至三维超声和动态影像分析，临床转化需进一步优化实时性。研究获国家自然科学基金等资助，为智能诊疗系统开发提供重要技术支撑。