MFSF2-NET：通过多尺度与多频域融合技术提升皮肤病变诊断的准确性

《Patient Education and Counseling》：MFSF2-NET: Towards Improved Skin Lesion Diagnosis via Multi-Scale and Multi-Frequency-Domain Fusion

针对皮肤疾病多任务诊断中特征融合不足、任务耦合不优和模型泛化能力有限的问题，提出MFSF2-NET模型，结合双分支特征提取、多频 aware融合模块和金字塔多尺度融合模块，显著提升分类和分割性能，并在五个临床数据集上验证有效。

　　
计算机视觉驱动的皮肤疾病多任务诊断研究取得新进展，最新提出的MFSF2-NET模型在特征融合机制上实现了重要突破。该研究由新疆医科大学医学工程与技术学院团队主导，针对现有诊断模型在临床实践中的三大核心问题展开系统性攻关：特征融合维度单一导致诊断精度受限、多任务协同机制不完善、跨模态泛化能力不足。研究团队通过构建双通道特征提取体系，创新性地将频域分析与多尺度建模相结合，成功实现了从微观纹理到宏观结构的全层次特征整合。

在技术架构层面，模型采用双分支并行处理机制。其中，基于ResNet的分支专注于皮肤镜图像的局部细节捕捉，通过多层级卷积核实现纹理特征的深度提取；而采用PVT架构的分支则针对CT影像进行全局结构建模，借助自注意力机制有效整合深层次解剖信息。这种双通道设计不仅实现了不同模态数据的互补性增强，更通过特征交互模块将两者在语义空间对齐，显著提升了多模态融合效果。

核心创新点体现在两个融合模块的设计。多频段感知融合模块（MFAF）通过频域特征分解技术，将图像特征解构为高频边缘信息和低频形态特征两个独立维度。实验证明这种物理可解释的分解方式，较传统卷积操作在特征表征精度上提升23.6%。金字塔多尺度融合模块（PMSF）则采用动态权重分配机制，在三个不同空间分辨率（64×64、128×128、256×256）之间建立特征金字塔，确保从局部病灶到整体皮损的连续性建模。双重融合机制使得模型在ISIC-2018数据集的mIoU指标达到81.1，较现有最优模型提升7.3个百分点。

在实验验证方面，研究团队构建了包含五个临床数据集的综合评估体系。针对皮肤镜单模态诊断场景，模型在HAM10000数据集的分类准确率达到96.2%，较DeiT模型提升4.9个百分点。特别值得关注的是多模态输入场景下的性能突破，当同时输入皮肤镜图像和CT影像时，分类准确率提升1.4%，召回率提高2.7%。在分割任务中，ISIC-2018数据集的mDice值达到89.5，较Mamba-Unet提升5.9%，同时mIoU指标较SwinUNet等主流模型提升4.7个百分点。

该研究在跨模态学习领域取得重要突破，首次实现了皮肤镜与CT影像的端到端联合诊断。通过构建双通道特征提取网络，模型可同时处理单模态和双模态输入。在双模态场景下，系统自动提取皮肤镜图像的微结构特征（如皮损边缘形态、色素分布等），同步解析CT影像的深层解剖结构（如真皮层厚度、皮下组织密度），经MFAF模块进行频域特征重组后，由PMSF模块完成多尺度特征整合。这种设计使得模型既能准确识别皮损类型（如脂溢性角化症与基底细胞癌的区分），又能精确进行病灶区域分割（达到89.5%的mDice值）。

在泛化能力测试中，研究团队引入三个具有挑战性的临床验证场景：跨中心数据迁移测试、多中心联合训练测试、真实临床数据压力测试。实验数据显示，模型在未知数据集上的表现稳定，测试集分类准确率保持在93.2%-95.6%区间，较传统单分支模型提升8-12个百分点。在CT影像稀疏数据场景下，通过多模态特征补偿机制，模型仍能保持82.3%的分割精度，这为临床实际中影像采集条件受限的情况提供了解决方案。

该研究提出的双分支架构具有显著临床价值。在基层医疗场景中，皮肤镜设备成本较低且易于普及，配合CT影像的深度结构信息，可构建完整的皮肤疾病诊断链条。模型在真实临床数据测试中表现出的稳定性，验证了其适应不同医疗机构硬件条件的可行性。特别设计的模块化架构允许临床医生根据实际需求灵活调整输入参数，这种可解释性设计符合医疗AI落地的核心要求。

在算法优化方面，研究团队创新性地将频域分析与多尺度建模相结合。MFAF模块通过小波变换将图像特征转换为频域表示，有效分离高频边缘特征（反映皮损微观结构）和低频形状特征（体现皮损宏观形态），这种物理可解释的分解方式突破了传统卷积核隐式学习的局限。PMSF模块采用可变滑动窗口机制，在特征金字塔的三个层级（粗粒度、中粒度、细粒度）之间建立动态连接，确保不同尺度特征的有效传递。这种组合机制在ISIC-2019数据集的分类任务中，使模型在轻度至重度脂溢性角化症的分界精度提升19.8%。

研究团队特别关注模型的临床实用价值，通过构建包含12种常见皮肤疾病、超过5万例样本的临床验证平台，系统测试了模型在不同疾病亚型中的表现。数据显示，模型对恶性黑色素瘤的检测灵敏度达到98.7%，对早期基底细胞癌的识别准确率超过96%，同时保持了良好的阴性预测值（NPV>0.92）。在真实临床数据测试中，模型在皮肤镜图像质量较差（如光线不足、分辨率低）的场景下，仍能通过多模态特征融合保持85%以上的诊断准确率。

针对医疗AI的伦理和安全问题，研究团队建立了三重保障机制。首先，在数据预处理阶段引入动态归一化技术，确保不同来源影像数据的物理一致性；其次，在模型训练阶段采用联邦学习框架，在保护隐私的前提下实现多中心数据协同训练；最后，开发专用临床验证工具包，包含超过200项质量控制的评估指标。这种设计使得模型在三个独立医院的临床验证中，各项核心指标均保持稳定，验证了其临床适用性。

研究还提出了新型评估指标体系，包含四个维度共18项指标：诊断精度（分类准确率、召回率）、分割质量（mIoU、mDice）、模型鲁棒性（跨设备泛化、抗干扰能力）、临床适用性（操作耗时、资源消耗）。通过该体系发现，MFSF2-NET在ISIC-2018数据集上的综合得分达到92.4，显著高于传统单分支模型（78.6）和多分支但缺乏频域融合的模型（85.3）。特别在计算资源占用方面，模型通过通道剪枝和动态卷积优化，使单卡GPU的推理速度达到0.87秒/张，满足实时诊断需求。

未来研究将重点拓展至三个方向：首先，探索将MRI影像纳入多模态融合体系，构建"皮肤镜+CT+MRI"的三模态诊断框架；其次，开发基于知识图谱的模型解释系统，增强医生对AI诊断决策的可视化理解；最后，研究轻量化部署方案，使模型能在移动端设备（如智能手机、平板电脑）实现实时推理。这些延伸研究将进一步提升模型的临床实用价值，推动皮肤疾病诊断向精准化、智能化方向发展。

该研究成果已在GitHub开源（https://github.com/men934/MFSF2-NET），代码库包含完整的训练流程、可视化工具包和临床评估模板。研究团队特别强调，模型在输出诊断结果时，会自动生成包含置信度评分、关键特征标注（如 Pigment Density Index, PDPI）和可视化融合热力图的完整报告，为临床医生提供多维度的决策支持。目前，该模型已在新疆地区三家三甲医院开展临床试点，累计辅助诊断超过2000例皮肤病患者，初步数据显示诊断效率提升40%，漏诊率降低至0.3%以下，展现出良好的临床转化潜力。