多位教师与细致的学生：一种适用于医学图像分类的领域自适应元知识蒸馏模型

《MEDICAL PHYSICS》：Multiple teachers-meticulous student: A domain adaptive meta-knowledge distillation model for medical image classification

针对医疗图像分类中存在的域转移、数据依赖、模型复杂度高及隐私保护问题，本文提出MT-MS框架，通过元知识蒸馏在无源数据下实现多教师协同指导的轻量化学生模型，融合卷积与注意力机制进行跨域知识迁移，并在六个医学影像数据集上验证其有效性，尤其在呼吸运动伪影检测任务中展现出高精度与可部署性。

　　

摘要

背景

深度学习（DL）在医学图像分类领域展现出了强大的能力，但仍面临诸多实际挑战。这些挑战包括由于领域迁移导致的性能下降、对大规模标注数据集的依赖性、模型复杂度过高从而限制了应用范围，以及患者数据隐私方面的担忧。

目的

为了解决这些问题，我们提出了一个名为“Multiple Teachers–Meticulous Student（MT–MS）”的框架，该框架利用元知识蒸馏技术实现无需源数据即可进行领域自适应的医学图像分类。

方法

在所提出的方法中，多个在异构源领域上训练的教师模型被用来指导一个紧凑的学生模型，而无需访问源数据。这种无需源数据的设置仅通过学习教师模型的参数来保护隐私。为了实现对新目标领域的鲁棒适应，学生模型通过元学习策略学习融合和精炼来自多个教师的知识。该架构结合了卷积层和注意力机制以最大化知识迁移效果，并通过自适应训练计划在学习过程中平衡教师模型的指导作用。

结果

我们在六个公开的医学成像数据集上评估了所提出的方法，这些数据集涵盖了多种成像模式和临床应用。实验重点关注呼吸运动伪影检测这一具有代表性的二元分类任务。结果表明，MT–MS框架在准确率和F1分数方面表现优异，同时保持了适合实际临床环境部署的轻量级结构。

结论

总体而言，MT-MS为领域自适应、数据高效训练、知识整合和隐私保护提供了一个统一的解决方案，使其成为跨领域医学图像分类领域的有前景的方法。

利益冲突声明

无需声明任何利益冲突。

数据可用性声明

数据集的获取地址如下：

- 约克大学（YU）：http://jtl.lassonde.yorku.ca/software/datasets/

- CMRxRecon：https://cmrxrecon.github.io/

自动化心脏诊断挑战赛（ACDC）：https://www.creatis.insa-lyon.fr/Challenge/acdc/databases.html

CMRxMotion：http://cmr.miccai.cloud/

运动相关伪影（MR-ART）：https://openneuro.org/datasets/ds004173/versions/1.0.2

低剂量计算机断层扫描感知图像质量评估大赛（LDCTIQAG2023）：https://zenodo.org/records/7833096#.ZEFywOxBzn5