B-RAD：基于BI-RADS感知的检索增强乳腺超声诊断框架

《npj Digital Medicine》：Interpretable multimodal retrieval augmented diagnosis for breast ultrasound with multinational clinical validation and reader study

摘要

乳腺超声是乳腺癌诊断的核心手段，但在乳腺影像报告和数据系统（BI-RADS）评估中存在显著的观察者间差异，且现有深度学习模型缺乏可解释性。多模态大语言模型有望实现基于报告的推理，但由于图像-报告配对数据稀缺，导致视觉-语义对齐能力较弱。我们提出了B-RAD，一个BI-RADS感知的检索增强诊断框架，模拟放射科医生的工作流程，包括检索范例、定位病灶和判定BI-RADS类别。其检索模块通过联合最小化跨模态失配和序数预测误差，从未配对数据中学习BI-RADS感知的对齐。检索到的范例指导少样本病灶检测，同时检测其边缘和后声学特征，检测到的区域触发分割模型，其掩膜驱动无训练所需的注视点注意力进行分类。我们在来自七个国家的十一队列中验证了B-RAD，共包含8311张图像，涵盖内部验证和三个外部队列（包括一个独立机构队列）。在未经微调的情况下，完整流程在该机构队列上的活检分流AUROC达到0.952，优于现有的视觉-语言模型。在一项四读者研究中，B-RAD辅助提高了准确率，将读者间一致性从中等提升至显著水平，并减少了所有读者中漏诊的恶性病例。这些发现表明，检索增强诊断可以缩小专业知识差距，并支持资源有限地区的乳腺癌筛查。