编辑推荐：
医学图像分割对临床诊断和癌症评估至关重要，但现有模型计算需求高、复杂。研究人员开展 “Teach-Former” 知识蒸馏框架研究，在 HECKTOR21 和 PI-CAI22 数据集测试，结果显示降低模型复杂度且性能超越现有方法，助力精准医疗。
在医学领域，精准的图像分割是临床诊断和治疗规划的关键。想象一下，医生需要透过复杂的医学影像，精准识别肿瘤的位置、大小和形状，就如同在迷宫中寻找隐藏的宝藏。然而，当前的深度学习模型虽然在医学图像分割上取得了一定进展，但它们如同 “大胃王”，对计算资源有着极高的需求，在资源受限的临床环境中难以施展拳脚。而且，医学图像中器官和肿瘤的多样性、大小不一以及位置的不可预测性，也给分割任务带来了重重挑战。为了攻克这些难题，来自美国内华达大学雷诺分校计算机科学与工程系等机构的研究人员开展了一项极具意义的研究，相关成果发表在《Scientific Reports》上。
研究人员提出了 Teach-Former，这是一种基于 Transformer 的知识蒸馏（KD）框架，旨在将多个教师模型的知识浓缩到一个精简的学生模型中。在技术方法上，研究采用了多种策略。首先，模型架构包含三个基于 Transformer 的教师模型和一个学生模型，输入多模态数据（如 CT、PET、MRI） 。其次，通过计算粗粒度和细粒度注意力图的相似性进行知识蒸馏，引入统一的下采样和上采样策略解决特征维度匹配问题。再者，利用像素级蒸馏损失和结合焦点损失与骰子损失的分割损失函数，优化模型训练。研究使用了 HECKTOR21 和 PI-CAI22 两个多模态数据集进行实验。
在数据集和实验设置方面，HECKTOR21 数据集用于头颈部肿瘤分割，包含 224 对 PET-CT 图像；PI-CAI22 数据集有 220 例前列腺癌患者的 MRI 图像。研究人员从所有图像中选取部分样本，通过重采样和中心裁剪后进行五折交叉验证，其余样本用于独立测试集评估。训练过程中，采用 Adam 优化器，学习率设为10?3 ，权重衰减为10?4 ，并进行在线数据增强，训练 100 个 epoch，使用早停法（耐心值为 40） 。
研究结果令人瞩目。在定量分析上，Teach-Former 知识蒸馏方法在多个指标上表现优异。以 HECKTOR21 数据集为例，基于该方法的 3D H-DenseFormer（轻量级）模型，骰子得分达到 76.58% ，平均交并比（mIoU）为 64.62% ，相比教师和学生版本的 3D H-DenseFormer、UNETR 和 SwinUNETR 等模型都有显著提升。在 PI-CAI22 数据集上，2D 轻量级 H-DenseFormer 模型的骰子得分达到 72.37% ，mIoU 为 71.39% ，同样优于其他对比模型。而且，Teach-Former 方法下的最佳性能架构，其参数数量减少了 5 到 10 倍，GFLOPs 降低了 10 到 15 倍。
在消融研究中，首先是交叉验证结果，研究人员提供了三个数据集的五折交叉验证结果，以验证模型的稳定性。其次，研究不同数量教师对模型性能的影响发现，多个教师的知识结合能提升分割精度，例如学生模型在学习三个教师的知识时，获得了最高的骰子得分和 mIoU。最后，分析知识蒸馏损失的影响可知，粗粒度和细粒度注意力特征相似性损失（LAFS ）与像素级蒸馏损失（LPWD ）的组合，能使学生模型更好地捕捉空间关系和像素级信息，提升分割效果。
统计显著性检验进一步证实了 Teach-Former 模型的有效性。在 HECKTOR21 和 PI-CAI22 数据集上，与 H-DenseFormer 教师和学生模型对比，该模型的预测在统计学上有显著差异，表明其性能提升并非偶然。
综上所述，Teach-Former 为医学图像分割带来了新的曙光。它通过整合多模态数据和多教师知识，在降低模型复杂度的同时提高了分割精度，这有助于医生更准确地诊断疾病，制定更有效的治疗方案，推动临床医疗和精准医学的发展。不过，该模型的成功依赖于高质量的多模态数据，未来研究可进一步拓展其在真实临床场景中的应用，不断优化模型，以应对更多复杂的医学图像分割任务，为人类健康事业贡献更多力量。
