自动化指标评估AI生成患者通信的临床适用性：基于GPT草稿回复的分阶段推广研究

《npj Digital Medicine》：Silent evaluation reveals context-dependent validity of automated metrics for AI-generated clinical messages

　　摘要评估AI生成的患者通信缺乏标准化框架，且自动化指标可能无法反映临床实用性。我们利用分阶段推出基于GPT生成的草稿回复（GDRs）来评估患者门户消息。从2023年9月到2024年8月，30名初级保健医生在两种条件下接收草稿：干预组（AI草稿显示并可编辑，n = 21,073）和非显示组（草稿生成但从未显示给医生，医生独立撰写回复，n = 45,127）。我们使用BLEU、ROUGE、BERTScore和Flesch阅读易度评分对消息进行评估，然后将自动化指标与医生对有效性、误解可能性和危害的盲法评分进行相关性分析。在干预组中，2264份（11%）草稿被整合到最终消息中，具有较高的语义一致性（BERTScore F1 = 0.93）。在非显示组中，医生独立撰写的消息与未显示的草稿显示出中等相似性（BERTScore F1 = 0.83）。尽管语义评分相当，医生更倾向于人工撰写的消息（4.24/5）。在干预组中，BERTScore与医生的质量评分呈相关性，但在非显示组中则无相关性。自动化指标表现出依赖于语境的有效性；它们评估了编辑保真度，但未能评估AI生成的内容是否匹配独立人工表现。对临床生成式AI的严格评估需要在特定使用语境中对指标含义进行验证。