CARE-Med：基于自然语言推理置信度感知的生物医学大模型不支持响应率优化框架

《Scientific Reports》：Hybrid retrieval–verification framework for hallucination reduction in medical LLMs

　　

摘要

临床医生利用大语言模型（LLM）进行临床决策支持、医学问答和自动文档撰写。然而，这些模型可能产生幻觉并带来安全风险。虽然检索增强生成（RAG）提升了事实准确性，但其输出并不总能与支持证据保持一致。为解决这些问题，本研究将基于自然语言推理（NLI）的不支持响应率缓解问题重新框架化为一种置信度感知的推理问题，并提出了一种统一的CARE-Med框架，涵盖检索、生成和验证三个阶段。该框架通过利用稠密检索、自然语言推理验证器和置信度评分机制来确保输出的可靠性。作者在MIMIC-III、PubMedQA和BioASQ基准上验证了本文提出的面向生物医学大模型的基于NLI的不支持响应优化方法。该方法将基于NLI的不支持响应率从基线LLM的32%降至CARE-Med的10%，相当于降低了22个百分点或68.8%的相对降幅。与传统RAG相比，基于NLI的不支持响应率从21%降至10%，相当于降低了11个百分点或52.4%的相对降幅。作者通过利用显式验证和不确定性推理来满足安全临床部署的要求。