M44TMD：一种用于全面评估颞下颌关节紊乱相关异常的多模态、多任务深度学习框架

《Journal of Dentistry》：M44TMD: A Multimodal, Multi-task Deep Learning Framework for Comprehensive Assessment of TMD-Related Abnormalities

本研究针对现有深度学习技术在颞下颌关节紊乱（TMD）评估中存在的磁共振成像（MRI）利用不足、任务单一及数据模态局限等问题，提出了一种名为M44TMD的多模态、多任务深度学习框架。该研究整合了多序列、多切片的TMJ MRI与临床数据，实现了对退行性关节病（DJD）、关节盘前移位（ADD）及关节积液的同步评估。结果表明，M44TMD的诊断性能优于初级牙医，并与资深牙医相当，展现出优异的鲁棒性和泛化能力，为推进基于深度学习的TMD临床诊断迈出了关键一步。

　　

颞下颌关节紊乱（Temporomandibular Disorders, TMD）是影响颞下颌关节（Temporomandibular Joint, TMJ）及相关肌肉骨骼结构的一组复杂疾病，是仅次于牙痛的第二常见口腔科就诊原因。准确的TMD评估对于制定治疗方案至关重要，尤其是在进行修复或正畸等牙科治疗前。然而，TMD的诊断充满挑战，其临床表现多样，常涉及多种异常并存，如退行性关节病（Degenerative Joint Disease, DJD）、关节盘前移位（Anterior Disc Displacement, ADD）和关节积液（effusion）。目前，磁共振成像（Magnetic Resonance Imaging, MRI）是评估TMJ软组织和关节盘位置的“金标准”，但在临床实践和现有的人工智能研究中，MRI的潜力远未被充分挖掘。

当前基于深度学习的TMD诊断方法主要面临三大瓶颈。首先，MRI在某些诊断任务中未被充分利用。例如，对于DJD的检测，计算机断层扫描（Computed Tomography, CT）或锥形束CT（Cone-Beam Computed Tomography, CBCT）是常规选择，而利用MRI进行DJD检测的研究几乎空白。其次，现有模型大多局限于单一任务的检测，如仅识别关节盘移位或骨质改变，无法反映TMD多病症共存的复杂本质，限制了其临床实用性。第三，研究普遍依赖单一模态数据，未能有效整合影像学检查与临床信息，这与临床实际诊断流程不符，也错失了多模态数据可能带来的性能提升。

为了突破这些局限，一项发表在《Journal of Dentistry》上的研究提出了一个创新的解决方案——M⁴4TMD框架。这是一个多模态（Multimodal）、多任务（Multi-task）的深度学习框架，旨在基于TMJ MRI和临床数据，对TMD相关的关键异常进行综合性、并发的评估。

研究人员开展了一项回顾性诊断研究，从765名参与者（共1410个TMJ）中收集了12,690张MRI切片及配对的临床数据。每个关节均根据DC/TMD（Diagnostic Criteria for TMD）标准标注了DJD、ADD（区分ADDWR和ADDWoR）和积液的诊断标签。值得注意的是，DJD的标注金标准是基于CBCT影像，而模型训练和测试仅使用MRI数据，这旨在探索仅通过无辐射的MRI来检测DJD的可能性，具有重要的临床意义。

该研究的核心技术方法包括：1. 数据预处理与划分：对MRI图像进行标准化预处理，并依据采集地点和时间将数据划分为内部训练集、内部测试集、时间泛化测试集和外部测试集，以全面评估模型性能。2. M⁴4TMD框架设计：以ResNet50等预训练卷积神经网络为骨干，构建了一个能够同时处理多序列（闭口PD、闭口T2W、开口PD）、多切片MRI以及临床表格数据的多任务学习架构。框架探索了特征融合和决策融合两种策略来整合多模态信息。3. 模型训练与优化：采用多任务损失函数（针对DJD任务使用Focal Loss，其他任务使用交叉熵损失）和贪婪搜索冻结策略来优化模型训练。4. 性能评估与可解释性分析：将模型性能与近期相关深度学习方法和不同经验水平的临床医生进行对比；通过梯度加权类激活图（Grad-CAM）和置换重要性（Permutation Importance, PI）分析模型的关注区域和临床特征贡献度；并进行了详细的错误模式分析。

内部性能评估显示M⁴4TMD优势明显

在内部测试集上，M⁴4TMD（基于ResNet50，特征融合）在三个任务上均表现出色，其ROC曲线下面积（ROC-AUC）分别为：DJD 0.831、ADD 0.913、积液 0.961，超越了所复现的三种单任务深度学习模型。与四位牙医（两位初级、两位资深）的对比中，M⁴4TMD的准确率在所有任务上均显著高于初级牙医，并与资深牙医表现相当，甚至在积液检测上优于一位有20年经验的资深牙医（90.5% vs. 79.6%; P < 0.05）。

框架展现出强大的泛化能力和适应性

在时间泛化测试集和外部测试集上，M⁴4TMD保持了稳健的性能，证明了其对于数据分布变化的鲁棒性。此外，研究还将框架应用于VGG16、DenseNet121和Inception-V3等其他CNN骨干网络，结果显示不同架构的M⁴4TMD变体均能有效工作，且整体性能优于初级牙医，证明了该框架的良好适应性。分层分析进一步表明，模型在不同人口统计学和临床特征亚组中均表现稳定。

可视化可解释性揭示了模型的临床合理性

通过Grad-CAM生成的热图显示，M⁴4TMD在诊断不同任务时，其注意力区域与关键的解剖结构高度一致：诊断DJD时关注髁状突，诊断ADD时关注关节盘，诊断积液时关注关节间隙。定量分析（如交并比IoU和指向游戏准确率）证实了这种空间对齐。置换重要性分析则量化了临床特征的贡献，例如，在外部测试中，“年龄”对DJD诊断最重要，“疼痛”和“开口受限”对ADD和积液诊断贡献显著，且当面临域偏移时，模型会更多地依赖这些域不变的临床特征来维持性能，这解释了其强大的泛化能力。

组件消融研究验证了多模态多任务的价值

逐步的消融实验证明，从单切片到多切片，再到多序列MRI的加入，模型性能逐步提升。多任务学习和多模态融合（特别是特征融合策略）在更具挑战性的外部测试集上展现了其优势，显著提升了模型的泛化性能，表明每个“M”（多切片、多序列、多任务、多模态）组件都对实现鲁棒性能具有独特价值。

错误分析提供了改进方向

对错误案例的深入分析揭示了模型面临的挑战。例如，在DJD检测中，漏诊（假阴性）多发生在仅呈现单一或细微病理特征（如轻微侵蚀或小骨赘）的病例中，这反映了仅凭MRI检测骨性改变的固有难度。对于ADD，关节盘形态的变异（如拉长或挛缩）是导致误分类的一个重要因素。

综上所述，M⁴4TMD研究成功地开发并验证了一个全面的深度学习框架，用于基于多模态数据的TMD相关异常综合评估。该框架首次实现了仅利用MRI数据对DJD进行有效检测，为减少患者辐射暴露和检查成本提供了潜在的“MRI优先”分诊路径。其诊断性能达到资深牙医水平，并展现出卓越的鲁棒性和临床可解释性。这项研究标志着在推进基于人工智能的TMD自动化、综合性临床评估方面迈出了关键一步，有望在未来成为牙医，特别是经验有限的牙医和专科医生，在复杂治疗前进行TMJ评估的得力助手，并改善TMD专科资源匮乏地区的诊疗可及性。未来的研究方向包括在多中心数据集上进行验证、扩展疾病分类范畴以及探索更先进的融合策略。