关于气胸患者教育中大型语言模型性能与时间变化性的评估：为期七天的分析

《Scientific Reports》：Evaluation of the performance and temporal variability of large language models in patient education regarding pneumothorax: a seven-day analysis

　　

摘要

本研究探讨了人工智能聊天机器人在提供气胸相关信息时的可读性、临床可靠性以及时间一致性。研究使用了包含40个以患者为中心的查询题库，这些题库被应用于三种大型语言模型（ChatGPT、Gemini、Copilot）中，同时根据两种访问层级和两种提示策略（零样本提示与优化后的PROMPORT策略）进行分类。在严格的会话控制条件下，这些查询分别在第1天、第3天和第7天进行重复测试。文本可读性通过五种自动化的可读性指标来量化，而两位独立的、不知情的胸外科医生则使用改进的DISCERN（mDISCERN）量表、JAMA评估标准以及PEMAT-P指标来评价其临床质量。可读性指标显示，在整个跟踪期间，模型的结构稳定性非常高（p?>?0.05）。未经提示的模型始终会产生复杂且相当于高中水平的输出，而PROMPORT策略则能有效减少语言上的差异，并消除算法随时间产生的偏差（p?>?0.05）。相反，未经提示的模型在mDISCERN和JAMA评估中的结果存在显著的时间波动性（p?<?0.05），而通过优化的提示约束，这种波动性得到了有效控制。在所有结构评估中，不同评估者之间的结果一致性都很高。总之，虽然未经提示的模型在语言表达和质量上存在较大差异，但通过巧妙运用有效的提示工程方法，可以确保数字公共卫生沟通所需的时间稳定性和清晰度。