大型语言模型回答肛失禁相关健康查询的质量、可理解性与可操作性评估

《Techniques in Coloproctology》：Quality, understandability, and actionability of large language model responses to fecal incontinence: a cross-sectional study

　　## 摘要### 背景患者越来越多地使用大型语言模型（LLM）获取健康信息，但目前对这些模型关于 fecal incontinence（FI）内容质量的评估仍然有限。我们旨在评估 LLM 对 FI 相关查询的回答在质量、可理解性和可操作性方面的表现。我们假设 LLM 提供的回答在质量、可理解性和可操作性方面存在显著差异。### 方法从 Google Trends 上与 FI 相关的前五大热门搜索查询中提取数据，生成相同的提示，用于调用以下四个大型语言模型进行回答：ChatGPT 4o mini（OpenAI）、Perplexity sonar（Perplexity AI）、LLaMA 3.2（Meta AI）以及 Gemini 2.0 Flash（Google）。使用 DISCERN、患者教育材料评估工具（PEMAT）以及 Flesch-Kincaid 年级水平（FKGL）对回答进行评估。统计分析使用 R 4.4.2 版本（R Core Team, 2025）完成。### 结果回答质量处于中等水平（DISCERN 中位数为 80 分中的 44 分），名义可理解性中位数为 77%（[7/9] PEMAT），但评分者间一致性较差；可操作性较差（中位数为 40% [2/5] PEMAT）。DISCERN 分数存在显著差异（*p* = 0.033）。根据 FKGL 分数，回答的阅读理解难度在高中至大学水平之间。可读性差异显著（*p* = 0.022）。### 结论根据 PEMAT 标准，LLM 的回答在结构清晰度方面表现良好，但缺乏可操作性，且阅读理解水平高于消费者健康信息推荐的阅读水平。在推荐大型语言模型用于患者教育之前，持续评估人工智能的重要性至关重要。