FHIR-AgentEval：面向医疗场景的大语言模型智能体可扩展评估框架

《npj Digital Medicine》：FHIR-AgentEval: a modular sandbox for benchmarking clinical LLM agents with memory-augmented configurations

　　

摘要

医疗数据交换越来越依赖于HL7 FHIR，但FHIR的实现复杂性为临床工作流程带来了障碍。大型语言模型（LLM）智能体可以通过将自然语言请求转化为结构化的FHIR操作来弥合这一差距，但其可靠性仍未得到验证。我们提出了FHIR-AgentEval，一个可扩展的评估沙箱，包含43个模块化任务，用于在真实的预约管理和基因检测工作流程中对LLM智能体进行基准测试。每个任务都在可重置的FHIR服务器中执行，并对智能体响应及服务器状态结果进行自定义确定性验证。我们对五种智能体配置进行了消融研究，变化条件包括对按需FHIR R4规范服务器的访问权限，以及是否基于规范进行训练的长期记忆。在四种实验设置中，记忆机制一致地提高了任务成功率，并减少了策略性失败，如工具选择不当和资源类型混淆。在未参与训练的任务上，最佳记忆配置相比基线提高了9.1%的成功率，为更加稳健的临床部署提供了一条潜在途径。