《Holistic Integrative Oncology》：AI-enhanced ultrasound video analysis for BI-RADS 4–5 breast lesions: a multicenter study of diagnostic performance
编辑推荐：
目的：本研究旨在开发一种计算机辅助诊断（computer-aided diagnosis, CAD）模型，以使用超声视频辅助超声医师对乳腺影像报告和数据系统（breast imaging reporting and data system, BI-RADS）4
目的：本研究旨在开发一种计算机辅助诊断（computer-aided diagnosis, CAD）模型，以使用超声视频辅助超声医师对乳腺影像报告和数据系统（breast imaging reporting and data system, BI-RADS）4–5类乳腺病变进行良性或恶性分类。
材料与方法：本前瞻性多中心研究纳入了532个经超声分类为BI-RADS 4–5的乳腺病变。其中，334个乳腺病变被纳入训练集和验证集。其余198个病变被分配至测试集。研究人员采集了每例患者病变的静态和动态视频超声图像，并利用这些图像开发深度学习（deep learning, DL）模型。还开发了基于视频图像的时间引导多尺度多示例学习网络（Temporal-guided multi-scale multi-instance learning network, TGMIL）。本研究计算了四项指标：曲线下面积（area under the curve, AUC）、准确性、精确率和敏感性。此外，采用配对DeLong检验和McNemar检验作为统计检验。
结果：共评估了120例患者和198段视频（良性，45.8 ± 11.5岁；恶性，50.7 ± 11.0岁）。在基于患者的测试集中，TGMIL达到AUC为0.845（95%置信区间（confidence interval, CI），0.747–0.944），显著优于初级超声医师（AUC，0.682；95% CI，0.583–0.782；p < 0.05）和主治超声医师（AUC：0.802；95% CI：0.713–0.891；p < 0.05）。在TGMIL辅助下，初级超声医师的诊断准确性从66.7%提高至89.2%（p < 0.05），主治超声医师从80.8%提高至90.0%（p < 0.05）；初级超声医师的敏感性从67.4%提高至94.2%（p < 0.05），主治超声医师从80.2%提高至89.5%（p < 0.05）。在TGMIL辅助下，高级超声医师的敏感性从86.0%显著提高至90.7%（P < 0.05）。
结论：TGMIL模型显著提高了初级和主治超声医师对BI-RADS 4–5乳腺病变的诊断性能。
乳腺癌（breast cancer, BC）占所有癌症相关死亡的6.6%，位居第四，仅次于肺癌、胃癌和肝癌。术前准确诊断乳腺病变具有挑战性，并显著影响乳腺外科医师作出的手术或不手术临床决策。为准确区分良性病变与恶性病变，临床医师和放射科医师已作出广泛努力以改善病变分类。例如，美国放射学会乳腺影像报告和数据系统（Breast Imaging Reporting and Data System, BI-RADS
?，第5版）为报告和评估提供了标准化指导。亚洲女性乳腺组织较其他族群更致密。尤其在中国，根据《中国晚期乳腺癌诊疗指南（2024年版）》等建议，乳腺X线摄影和超声是乳腺癌筛查的主要和辅助影像方法。尽管乳腺X线摄影一直是乳腺癌筛查的基石，但在高致密乳腺女性中，单用乳腺X线摄影难以达到最佳准确性。乳腺超声是一种便捷的诊断方式，在致密乳腺组织个体筛查中显示重要作用。尽管超声技术进步提高了诊断性能，但在临床实践中，超声诊断BI-RADS 4–5乳腺病变仍具挑战性。BI-RADS 4–5病变覆盖广泛的恶性风险，良恶性病变之间存在重叠形态特征，如不规则形状、边缘不清、低回声质地和后方声衰减。这些重叠特征导致较高的观察者间变异，尤其对经验有限的超声医师而言。同时，超声诊断高度依赖操作者，受扫描技巧、图像采集标准和主观判断影响，进一步降低区分良恶性BI-RADS 4–5病变的一致性和准确性。次优性能可能导致漏诊小病变或不必要的核心针活检和手术。人工智能（artificial intelligence, AI）是支持类人感知和决策的计算方法；机器学习（machine learning, ML）是AI的主要子集，从数据中学习诊断模式；深度学习（deep learning, DL）进一步利用神经网络自动提取层级影像特征；计算机辅助诊断（computer-aided diagnosis, CAD）代表这些AI方法在辅助医师进行图像判读和诊断决策中的临床应用。DL模型具有强自学习能力，已用于辅助超声医师诊断乳腺病变。ML方法可以较高准确性分类非囊性良恶性乳腺病变。例如，Pfob et al. 报道ML算法联合剪切波弹性成像（shear-wave elastography, SWE）使不必要活检减少50.3%。此外，训练用于分类良性肿瘤、恶性肿瘤、炎性肿块和腺病的卷积神经网络（convolutional neural network, CNN）在超声图像上取得AUC为0.89至0.91，测试集准确性为89.2%。然而，在传统图像分类模型中，从视频片段中选择单帧或数帧是动态扫描中的关键步骤。迄今，CAD分析研究主要关注静态（单帧）超声图像。理想的AI乳腺诊断模型应优于经验丰富的超声医师诊断可疑病变。在本研究中，研究人员开发基于时间引导多尺度多示例学习网络（Temporal-guided multi-scale multi-instance learning network, TGMIL）的DL模型，以实现BI-RADS 4–5乳腺病变的准确诊断。提出TGMIL是因为超声视频包含时间上下文信息，不同帧对病变诊断贡献不等。通过结合时间特征挖掘和多示例学习（multi-instance learning, MIL），TGMIL能够自动识别具有诊断信息量的帧，并将其聚合为视频级表示，从而比传统静态图像模型更充分利用动态超声信息。
本前瞻性多中心诊断研究经厦门大学附属翔安医院伦理委员会批准（XAHLL2020021），所有参与者均获得知情同意。乳腺超声视频数据于2019年11月至2023年1月从四家医院通过云服务或百度网盘传输获取。纳入标准为：视频图像上病变分类为BI-RADS 4–5类；灰度图像中病变清晰可见且无测量标签，并且视频图像彩色多普勒采样窗中清晰可见；高频探头检测且病变大于5 mm；经手术或超声引导活检后病理确诊。排除标准为：患侧存在假体；传统图像分类模型或视频质量差；病理诊断缺失；病变类型不清。研究人员在 Hospital A 和 Hospital B 于2019年11月至2022年7月开展前瞻性多中心诊断研究，最终334个乳腺病变（61个良性病变，273个恶性病变）纳入训练和验证集。额外198个病变（50个良性，148个恶性）来自厦门大学附属翔安医院、上海市第十人民医院、山西省人民医院和汕头市中心医院，收集于2020年11月至2023年1月，分配至测试集。多次超声检查患者的所有检查和视频均分配至同一数据分区，以防止数据泄漏。病理诊断由具有8年以上乳腺病理经验的病理医师完成。研究开发TGMIL模型，并得出结论：TGMIL显著改善初级和主治超声医师对BI-RADS 4–5乳腺病变的诊断性能。其意义在于提高诊断准确性、敏感性和特异性，并作为辅助工具支持可疑但最终良性病变的风险评估，减少过度干预。
关键技术方法：采用前瞻性多中心队列，采集每例患者病变的静态和动态视频超声图像。预处理使用SimpleITK和NumPy将视频转为无损NPY格式，去除冗余黑边和全部文字信息，以K-means算法提取15个关键帧，将视频帧调整至512 ? 512像素，并将像素值标准化至0–1。TGMIL以VGG-13为骨干编码每帧，通过线性层编码帧序并与视觉特征拼接，利用注意力MIL模块自适应加权诊断信息帧并聚合为视频级表示。训练采用交叉熵损失、SGD、学习率5e-4、批大小1，在NVIDIA RTX 3090 GPU上实现。比较视频模型3D-CNN、CSN、R(2+1)D-50，静态模型BU-Mamba、ResNet50、VGG16、ViT B/32，以及均值池化和最大值池化基线；由9名超声医师（初级<3年3名、主治4–9年3名、高级≥10年3名）在患者水平以AUC、准确性、精确率、敏感性评估，采用DeLong和McNemar检验、多阅读者多病例（multi-reader multi-case, MRMC）框架，阈值0.5。样本来源为训练集Hospital A和Hospital B，测试集四家医院。
3.1 TGMIL、基于视频的模型和传统图像分类模型的诊断性能：与基于视频的模型相比，TGMIL的AUROC曲线始终位于其他比较方法曲线的上方和左侧。TGMIL的AUC为0.824（95% CI：0.790–0.857），显著高于3D-CNN（AUC为0.665）、CSN（AUC为0.613）和R(2+1)D-50（AUC为0.678）。与BU-Mamba、ResNet50、VGG16和ViT B/32四种静态图像分类模型比较，TGMIL在AUC、准确性、精确率和敏感性上均表现更优。TGMIL获得最高AUC（0.824）、最高准确性（0.833，95% CI：0.784–0.883），并平衡高敏感性（0.966，95% CI：0.936–0.996）和高精确率（0.836，95% CI：0.782–0.891）。ViT B/32的AUC最低（0.656，95% CI：0.476–0.836）。BU-Mamba敏感性高（0.988，95% CI：0.984–0.993），但精确率较低（0.752，95% CI：0.748–0.757），提示过度诊断倾向和较高假阳性率。在预设阈值0.5时，TGMIL在外部队列中显示良好概率校准（Brier score 0.071；10-bin ECE 0.072），最高准确性出现在0.5（91.9%）。恶性病变患者病变大于良性病变（P < 0.05），但训练集与测试集之间年龄或病变大小无显著差异（P > 0.05）。
3.2 TGMIL与其他时间聚合基线的诊断性能比较：为评估注意力学习模块贡献，TGMIL与均值池化和最大值池化基线比较。TGMIL取得最佳总体诊断性能。最大值池化的AUC为0.770（95% CI：0.732–0.808），准确性为0.805（95% CI：0.739–0.871），精确率为0.815（95% CI：0.757–0.873），敏感性为0.930（95% CI：0.896–0.964）。均值池化表现更低，AUC为0.752（95% CI：0.711–0.793），准确性为0.791（95% CI：0.773–0.809），精确率为0.805（95% CI：0.783–0.827），敏感性为0.919（95% CI：0.898–0.940）。这些发现提示自适应MIL注意力机制比简单时间池化策略更有效识别诊断信息帧，并改善视频级分类性能。
3.3 模型及四个外部测试集的诊断性能：模型在训练集表现优异，AUC为0.985（CI：0.984–0.998），显示对已见数据的强拟合能力。在验证集，性能略下降但仍显示良好泛化，特异性为0.887，敏感性为0.906。在四个外部测试集中，模型表现稳定且稳健。Center 2获得最高AUC（0.886，95% CI：0.815–0.958），特异性为0.911，但敏感性相对较低（0.769），提示对阳性病例更保守的预测行为。Center 1和Center 4均达到完美敏感性1.0，提示对阳性样本检测出色，但特异性稍低（分别为82.4%和81.1%），可能反映假阳性增加。Center 3在特异性0.889和敏感性0.887之间显示更平衡的权衡。总体上，模型在不同医院间显示强适应性和稳健性。Center 1、Center 2、Center 3、Center 4分别为山西省人民医院、同济大学附属第十人民医院、汕头市中心医院和厦门大学附属翔安医院。
3.4 模型单独、超声医师单独及模型与超声医师联合的诊断性能：研究人员比较不同经验超声医师的诊断性能。主治超声医师表现优于初级超声医师，高级超声医师在三组中表现最高。主治与初级超声医师的敏感性、特异性、准确性和AUC分别为80.2% vs. 67.4%、82.4% vs. 64.7%、80.8% vs. 66.7%、0.802（95% CI：0.713–0.891） vs. 0.682（95% CI：0.583–0.782）（P < 0.05）。高级与主治超声医师的敏感性、特异性、准确性和AUC分别为86.0% vs. 80.2%、94.1% vs. 82.4%、88.3% vs. 80.8%、0.903（95% CI：0.843–0.963） vs. 0.802（95% CI：0.713–0.891）（P < 0.05）。在TGMIL辅助下，所有超声医师的汇总特异性由88.2%提高至97.1%（P < 0.05），准确性由77.5%提高至95.0%（P < 0.05），AUC由0.871（95% CI：0.811–0.930）提高至0.964（95% CI：0.930–0.998）（P < 0.05）。初级超声医师准确性由66.7%提高至89.2%（P < 0.05），AUC由0.682（95% CI：0.583–0.782）提高至0.865（95% CI：0.785–0.944）（P < 0.05）；摘要报告其敏感性由67.4%提高至94.2%（P < 0.05）。主治超声医师准确性由80.8%提高至90.0%（P < 0.05），AUC由0.802（95% CI：0.713–0.891）提高至0.902（95% CI：0.838–0.966）（P < 0.05）；摘要报告其敏感性由80.2%提高至89.5%（P < 0.05）。对于高级超声医师，摘要报告敏感性由86.0%显著提高至90.7%（P < 0.05）；正文3.4同时指出，对高级超声医师，模型未在包括敏感性、特异性、准确性或AUC在内的任何诊断指标上显著改善。
4 讨论：本研究开发了名为TGMIL的DL系统，用于基于全局和局部聚合的超声视频检测。该模型有效聚合长程语义信息，以缓解类别模糊问题，邻近帧运动信息聚合可有效辅助准确定位。重要的是，新开发的DL模型不仅能自动识别BI-RADS 4–5类乳腺病变，还能提高经验较少（<10年）超声医师的诊断效率。为探索DL网络在乳腺超声视频中的诊断性能，研究人员比较动态与传统静态图像分类模型作为评估良恶性乳腺病变的辅助工具。既往研究报道，采用传统图像分类模型的DL超声模型在某些临床任务上已优于医疗专业人员。在临床实践中，视频超声能更全面显示病变形状、边界、内部结构和钙化。因此，动态视频允许实时诊断，并在乳腺病变鉴别诊断方面提供更全面信息。研究人员还探讨TGMIL模型在支持和引导超声医师改善诊断性能中的价值。TGMIL提高阴性预测值和阳性预测值（分别为68.4%和90.2%）。该模型在标注超声视频序列上显示有效诊断能力，可与高级医师水平相当。模型在自动识别病变和提高诊断准确性方面显示潜在获益，尤其对初级和主治超声医师。高级超声医师（≥10年经验）在形态学评估、多普勒特征分析、BI-RADS分级和BI-RADS 4–5病变风险分层方面经验丰富，能够整合多维信息，包括病变形态、回声、边缘、钙化、多普勒特征和既往临床经验，并以高一致性和准确性评估细微或临界病变。其在本队列中的诊断性能已达到高而稳定水平，可测量改善空间有限。然而，TGMIL辅助后AUC从0.898降至0.885不应仅归因于天花板效应。值得注意的是，TGMIL单独AUC为0.824，低于无辅助高级超声医师。因为TGMIL主要依赖输入超声视频，可能提供超出经验丰富阅片者已整合信息的额外信息有限。此外，当模型预测与专家判断冲突时，不准确或不确定输出可能引入认知干扰或自动化偏倚，可能导致原本正确决策发生不必要改变。失败病例分析进一步揭示TGMIL在良恶性超声表现重叠病变中的局限。一些良性病变显示假恶性特征，包括实性低回声、不规则形状和局部毛刺状边缘，导致假阳性预测。相反，一些恶性病变显示弱血管信号且缺乏典型恶性血管特征，如分支或紊乱血流，导致假阴性预测。这些发现提示，当形态学和血管特征不典型或不一致时，TGMIL可能易受影响。此类失败模式也强调需将模型预测与全面临床和影像评估结合，而非仅依赖AI输出。此外，TGMIL可能提供互补诊断信息，包括改善阴性预测值，从而支持基于超声的诊断评估。这具有临床相关性，因为在可疑但最终良性的乳腺病变中，过度干预仍是主要关注点。本研究中，TGMIL在区分良恶性病变方面达到高敏感性（0.966）和精确率（0.836），提示其作为诊断风险评估辅助工具的潜在价值。未来研究应在专用前瞻性队列中评估TGMIL在筛查和早期检测环境中的潜在效用。对于临床应用，TGMIL在单个NVIDIA RTX 3090 GPU上训练，提示其开发不需要大规模计算基础设施。一旦训练完成，模型仅需对超声视频进行推断，计算需求远低于模型训练。因此，TGMIL有潜力部署在本地GPU工作站并整合入超声工作流程，以提供辅助诊断支持。然而，本研究存在若干局限。第一，纳入数据集为医院诊断环境中经病理确诊者，且限于大于5 mm的BI-RADS 4–5病变，其他BI-RADS类别、乳腺假体患者、质量差超声视频和无明确病理验证病变被排除。这些严格标准可能造成高度选择队列，并限制结果对真实临床环境的普遍性。第二，本研究缺乏无症状筛查人群数据。所有参与者来自疑似乳腺病变诊断队列，而人群筛查通常疾病患病率较低、病变较小或偶然发现，且临床管理路径不同。因此，尽管TGMIL对BI-RADS 4–5病变显示有前景的性能，其在乳腺癌筛查和早期检测中的安全性、有效性和临床价值仍需在前瞻性筛查人群中进一步验证。此外，TGMIL模型的准确性和稳定性依赖细胞学和组织病理学诊断金标准，而普通人群在常规检测站难以获得该金标准。研究人员的主要目标是评估动态超声视频在TGMIL模型用于提高效率时的诊断准确性。因此，将这些发现外推至其他情境需谨慎。然而，在临床环境中，TGMIL可能在超声医师查看超声视频和传统图像分类模型后增强其表现。研究结果提示，使用TGMIL的超声医师表现优于既往研究。研究结论翻译：TGMIL模型显著提高了初级和主治超声医师对BI-RADS 4–5乳腺病变的诊断性能。
