具有局部推理能力的可解释性放射学智能系统

《npj Digital Medicine》：Interpretable agentic AI system with localized reasoning for radiology

　　

摘要

医学人工智能已经开发出了许多放射学模型，尤其是针对胸部X光片的模型，这些模型在病变检测或报告生成等特定任务上表现优异。然而，由于是在有限的数据集上训练的，这些模型功能各异且泛化能力有限，难以在实际临床中应用。如今，大型语言模型使得能够在代理框架内整合不同的模型，自动以自然语言形式解读并统一各种输出结果。在本研究中，我们提出了RadFabric，这是一种代理型人工智能系统，它通过模块化协议协调14种专门的开源胸部X光片分析模型以及两种视觉语言模型。RadFabric包含一个解剖结构解读代理，能够将视觉观察结果与解剖结构联系起来；还有一个可训练的推理代理，它能将这些经过解剖学信息补充后的输出与视觉语言模型生成的放射学报告相结合，从而给出清晰、分步的诊断结果，即便模型输出存在差异或矛盾。该架构不仅能够为常见和罕见的病理情况提供可解释且可靠的诊断结果，还能通过添加更多代理来实现功能的扩展。在MIMIC-CXR数据集上的测试结果显示，RadFabric在识别不同类型的病变方面能达到85.18%的AUC值，性能优于所有现有的胸部X光片分析模型。尤其值得一提的是，该推理代理在识别罕见病变方面表现更为出色，展现了更强的可解释性、泛化能力以及临床应用价值。