基于证据链的可解释医学视觉问答：多源知识增强的跨模态推理框架

针对医学视觉问答(MedVQA)中证据缺失和解释性不足的难题，Chen Qiu团队提出Med-CoE框架，通过整合PMC-OA医学文献与Wikipedia知识构建证据链，采用三阶段训练策略实现跨模态推理。该模型在PMC-VQA和SLAKE数据集上准确率分别提升10.7%和4.0%，为临床决策提供可验证的医学证据支持。

　　

医学视觉问答(MedVQA)作为医疗人工智能的前沿领域，正面临关键挑战：现有模型虽能输出答案，却难以像医生一样提供基于医学证据的完整推理链条。这导致"黑箱决策"风险，尤其在处理复杂临床问题时，缺乏解释性的答案可能误导诊疗。随着大型语言模型(LLM)在医疗领域的应用扩展，如何将医学专业知识与视觉理解能力相结合，构建符合临床思维过程的推理系统，成为亟待突破的科学难题。

武汉知识创新计划项目团队在《Knowledge-Based Systems》发表的研究中，创新性地将MedVQA重构为证据生成任务，提出医学证据链(Med-CoE)框架。该研究突破传统分类范式的局限，通过融合1.6百万PMC-OA医学文献图像对与Wikipedia实体知识，建立包含证据验证机制的三阶段训练体系。实验证明，该框架在开放性问题上的表现尤为突出，其生成的解释性证据与标准医学知识的吻合度显著优于现有方法。

关键技术包括：1) 基于PMC-OA数据集预训练医学视觉语言模型；2) 通过LLM提示工程自动生成标注证据链；3) 设计知识验证提示策略评估PMC-OA上下文与Wikipedia实体的逻辑一致性；4) 在PMC-VQA和SLAKE基准测试中采用多维度评估指标。

【Methodology】
研究团队构建的Med-CoE框架包含三个核心组件：视觉编码器Φ_vis
处理医学影像V_i
，文本编码器Φ_text
解析临床问题Q_i
，决策模块Φ_dec
生成带证据的预测答案?_i
。数学表达?_i
=Φ_Med-CoE
(R?_i
|I_i
,M_i
;Θ)揭示了多模态特征与医学知识的动态交互机制。

【Experiments and results】
在PMC-VQA数据集上，Med-CoE直接问答任务准确率达43.4%，较MedVInT提升10.7%；多选任务达87.4%。SLAKE测试中，对开放性问题(open-ended)的解答准确率提升至88.8%，验证了框架的临床适用性。知识验证模块分析显示，生成证据与PMC-OA文献的语义匹配度达91.2%。

【Discussion】
该研究首次证实医学知识源的类型与质量直接影响推理可靠性。PMC-OA提供的专业语境与Wikipedia的常识性知识形成互补：前者确保术语精确性，后者增强解释通俗性。值得注意的是，当处理"骨盆X光片类型识别"等需解剖学知识的任务时，证据链的介入使错误率降低62%。

【Conclusion】
Med-CoE通过证据链架构实现了医学AI的可解释性突破，其创新点在于：1) 将静态知识库转化为动态推理组件；2) 建立首个医学多模态提示验证标准；3) 证明LLM在专业领域的迁移学习潜力。这项工作不仅为医疗AI的透明化树立新范式，其构建的160万规模医学证据库更为后续研究提供宝贵资源。Chen Qiu等研究者强调，未来方向应聚焦于实时临床知识更新机制与多模态证据的可视化呈现。