整合MRI、CT与内镜的三模态深度学习融合框架用于鼻窦内翻性乳头瘤与恶变术前鉴别

《Current Oncology》：Automated Trimodal Deep Learning Fusion of MRI, CT, and Endoscopy for Preoperative Differentiation of Sinonasal Inverted Papilloma and Malignant Transformation

　　

目的：构建并验证一个自动化三模态深度学习融合框架，该框架整合磁共振成像（MRI）、计算机断层扫描（CT）与鼻内镜，用于术前鉴别鼻窦内翻性乳头瘤（SIP）与SIP恶变型鳞状细胞癌（SIP-SCC）。材料与方法：本回顾性研究纳入2014年10月至2025年8月间经病理诊断为SIP（n=614）或SIP-SCC（n=235）的849例患者。研究利用仅有单一或两种模态的743例患者数据训练并验证了三个基于ResNet的单模态深度学习模型。随后，训练好的网络为另外106例具有完整三模态数据的患者分别生成MRI、CT与内镜概率评分。这些评分通过逻辑回归进行整合，并在该106例队列中采用五折交叉验证评估融合性能。在阅片者研究中，将其性能与六名医师（三名初级、三名高级）进行比较。结果：三模态融合模型的折外AUC为0.910。其AUC高于CT（0.634；未校正p < 0.001；Holm校正p < 0.001）与内镜（0.813；未校正p = 0.023；Holm校正p = 0.045），但与MRI（0.859；未校正及校正p = 0.142）的差异无统计学意义。在固定阈值0.5下，融合模型的准确率为83.0%。融合模型与初级阅片者组多数投票（64.2%；未校正p = 0.004；校正p = 0.022）之间的准确率差异有统计学意义，但与高级阅片者组多数投票（81.1%；未校正p = 0.860；校正p = 1.000）之间无统计学差异。结论：通过整合MRI、CT与内镜图像，三模态融合模型在鉴别SIP与SIP-SCC方面取得了所评估模型中最高的AUC，提示其作为临床决策支持工具的潜在价值。

鼻窦内翻性乳头瘤（SIP）是一种良性鼻窦上皮性肿瘤，以局部侵袭性、高复发率及潜在恶变倾向为特征，约5–10%的病例会进展为内翻性乳头瘤恶变型鳞状细胞癌（SIP-SCC）。恶变可能需要更广泛的手术切除与辅助治疗，因此术前鉴别具有重要意义。然而，术前鉴别SIP与SIP-SCC仍具挑战性：内镜活检可能遗漏位于良性乳头瘤内的局灶性癌变成分；影像学虽可通过识别可疑区域指导靶向活检并勾勒病变范围，但MRI与CT所呈现的征象存在重叠，单一影像学表现难以实现确定性鉴别。既往研究探索了影像组学分析与基于内镜、MRI或二者联合的深度学习（DL）模型，但联合整合MRI、CT与鼻内镜三者用于鉴别SIP与SIP-SCC的价值尚未得到充分表征。为此，研究人员开展本回顾性研究，旨在开发并评估一个无需手动病灶分割的三模态深度学习融合框架，该框架整合来自MRI、CT与内镜模型的患者层面预测，并将其性能与单模态模型及参与临床医师进行比较。

研究人员开展的研究为单中心回顾性研究，纳入2014年10月至2025年8月接受手术治疗的鼻窦肿瘤患者。单模态开发队列包含743例独特患者，按影像可用性分组：MRI模型（n=463）、CT模型（n=527）、内镜模型（n=605）。另设106例具有完整三模态数据的独立队列，用于单模态网络的留出评估与融合分类器的五折交叉验证。研究得出：三模态融合模型的折外AUC为0.910，在固定阈值0.5下准确率为83.0%；其AUC显著高于CT与内镜，与MRI差异无统计学意义；其准确率处于高级医师范围内，与初级医师组多数投票差异有统计学意义，与高级医师组多数投票差异无统计学意义。该研究的重要意义在于，通过整合常规可及的MRI、CT与内镜的互补信息，该框架可支持术前识别SIP相关癌变，为术前诊断评估与手术规划提供参考，提示其作为临床决策支持工具的潜在价值。

研究人员为开展本研究用到的主要关键技术方法包括：采用基于ResNet的深度学习架构构建三个单模态模型，其中CT与MRI模型采用定制的三维ResNet-50实现，内镜模型采用二维ResNet-18并将最终全连接层替换为单输出分类层；MRI模型以T1加权增强（T1C）与T2加权成像（T2WI）双序列作为输入，经各自ResNet编码器提取序列特异性特征后拼接并经融合模块处理；采用二元交叉熵损失训练模型，以验证集AUC最高者选择检查点；融合阶段以三个单模态网络生成的患者层面概率评分为输入，构建逻辑回归分类器，并在106例完整三模态队列中采用五折交叉验证进行拟合与评估；采用DeLong检验比较AUC、McNemar检验比较分类准确率，并采用Holm法进行多重比较校正。样本队列来源为单中心手术治疗的鼻窦肿瘤患者。

研究结果如下：患者特征方面，共纳入849例患者，其中106例（SIP 81例，SIP-SCC 25例）具有完整三模态影像，743例（SIP 533例，SIP-SCC 210例）具有一种或两种模态。单模态DL模型性能方面，MRI模型在独立测试集上表现最佳，AUC为0.859，准确率80.2%，灵敏度80.0%，特异度80.3%；内镜模型AUC为0.813，准确率82.1%，特异度最高（88.9%）但灵敏度最低（60.0%）；CT模型AUC最低（0.634），准确率53.8%。验证集与测试集性能相近，提示泛化稳定。三模态融合模型性能方面，逻辑回归融合模型的回归系数分别为MRI 2.451、内镜1.970、CT 1.219，均为正值，截距为?2.585；融合模型AUC达0.910，显著高于CT与内镜，与MRI差异无统计学意义；固定阈值0.5下准确率83.0%、灵敏度76.0%、特异度85.2%、F1分数0.679；探索性分析中Youden指数所选阈值0.610下准确率89.6%、灵敏度76.0%、特异度93.8%，但该估计可能偏乐观；校准分析显示融合模型Brier评分最低（0.119），概率校准良好。按既往切除状态的探索性分析方面，无既往切除患者中模型准确率83.3%、AUC 0.861，有既往切除患者中准确率82.6%、AUC 0.931，组间比较无统计学差异（p = 0.405）。阅片者研究方面，融合模型准确率83.0%，与初级阅片者组多数投票（64.2%）差异有统计学意义，与高级阅片者组多数投票（81.1%）差异无统计学意义。

讨论部分总结：本研究评估了整合MRI、CT与鼻内镜的三模态深度学习融合框架用于术前鉴别SIP与SIP-SCC。融合模型折外AUC为0.910，固定阈值0.5下准确率83.0%，其AUC显著高于CT与内镜但不高于MRI，准确率处于高级医师范围内且与个别高级阅片者差异无统计学意义，支持将该框架作为术前评估辅助手段进一步评估。术前鉴别具有重要临床意义：漏诊SIP-SCC可能导致切除不充分与复发，而将SIP误判为恶性则可能导致不必要的大范围手术。既往研究已确立定量MRI分析识别SIP-SCC的可行性，而本框架整合MRI、CT与内镜三个模态的患者层面预测，无需手动病灶分割，并在同一批患者中实现单模态与融合模型的直接比较。单模态性能在不同模态间差异明显：MRI取得最高单模态AUC，可能归因于其软组织对比及T1C与T2WI的互补信息；CT单独性能有限，可能因良性SIP亦可产生骨重塑与侵蚀而与恶性征象重叠；内镜模型特异度高而灵敏度较低，可能反映SIP-SCC中主要呈良性病变内的局灶性恶变。融合模型整合了描绘肿瘤内部结构、骨受累与表面形态的多个模态预测。本研究存在若干局限性：回顾性单中心设计限制泛化性，需前瞻性多中心验证；样本量虽对罕见病SIP-SCC而言合理，但按通用深度学习标准仍属中等，尤其三模态融合队列（n=106）较小，限制了按既往切除状态分层的评估能力；融合模型虽具一定透明度，但仍属"黑箱"，可解释性有限。结论部分翻译：该三模态深度学习融合框架整合术前MRI、CT与鼻内镜用于鉴别SIP与SIP-SCC，其AUC在数值上高于各单模态模型，准确率处于高级医师范围内，这些发现支持其作为诊断支持工具的潜力；仍需更大规模独立队列以确立泛化性并获得更精确的性能估计。