大型语言模型生成HIV内容可读性与信息质量评估：方法学与内容层面的实证研究

《BMC Infectious Diseases》：Readability and information quality of LLM-Generated HIV content: a methodological content evaluation

本研究针对LLMs生成HIV健康信息的可读性与信息质量平衡问题，通过系统评估ChatGPT-4、DeepSeek-R1和Grok-3对15个高频查询的响应，发现Grok-3在DISCERN评分上显著优于其他模型（非专科医师评分56.5±7.7 vs 36.3±5.2/4.9，p<0.0001），但需要更高阅读水平（FRE/FKGL/TSI显示p<0.05）。研究揭示了可读性-质量权衡规律，为LLMs作为上游起草工具而非直接患者系统提供了方法学依据。

　　

当ChatGPT等大型语言模型（LLMs）逐渐融入医疗信息生成领域，一个关键问题浮出水面：这些人工智能生成的健康内容，是否能在专业准确性与大众可理解性之间取得平衡？特别是在HIV（Human Immunodeficiency Virus）防治这个全球公共卫生重点领域，信息的质量与可及性直接关系到预防效果和患者生命质量。尽管全球在HIV防控方面取得了显著进展，但2023年仍有约3960万HIV感染者，新增130万感染病例和63万相关死亡病例，95-95-95目标尚未完全实现。与此同时，数字鸿沟、健康素养差异以及信息污名化等问题，使得高效、准确且易懂的健康信息传播变得尤为重要。

在此背景下，陈桂华等研究人员在《BMC Infectious Diseases》发表了题为"Readability and information quality of LLM-Generated HIV content: a methodological content evaluation"的研究论文，对LLMs生成HIV内容进行了方法学层面的内容评估。该研究聚焦于三大主流模型——ChatGPT-4、DeepSeek-R1和Grok-3，旨在系统分析它们在生成HIV相关信息时的可读性与信息质量表现，为LLMs在公共卫生领域的科学应用提供实证依据。

研究人员采用了一套严谨的方法论框架。首先从谷歌趋势（Google Trends）平台提取了2010年2月至2025年3月期间与"HIV"相关的15个高频搜索查询，并将其映射到医学主题词表（MeSH）术语以确保术语标准化。在2025年3月13日至20日期间，每个查询均向三个LLMs模型进行三轮对话测试，共生成135份文本输出。可读性评估采用了五种国际通用指标：自动化可读性指数（ARI）、Flesch阅读易度（FRE）、Gunning雾化指数（GFI）、Flesch-Kincaid年级水平（FKGL）和简易测量指标（TSI）。信息质量则通过DISCERN工具进行评价，由两名非传染病专科临床医师对所有文本进行评分，同时由两名传染病专家对随机抽取的45份文本进行专业评估。统计分析采用双向随机效应组内相关系数（ICC）评估评分者一致性，并使用适当的事后检验方法进行组间比较。

可读性分析结果显示模型间存在显著差异

研究发现，不同LLMs生成内容的可读性存在明显差异。在ARI和GFI指标上，三个模型间无统计学差异，但FRE、FKGL和TSI均一致表明Grok-3需要更高的阅读水平。具体而言，Grok-3的FRE评分显著低于ChatGPT-4（p<0.05），意味着其内容更难理解；在FKGL和TSI上，Grok-3也显著高于DeepSeek-R1（p<0.05），表明需要更高教育背景才能理解。这些发现提示，尽管所有模型都能生成连贯文本，但Grok-3的输出可能不太适合健康素养有限的一般公众。

信息质量评估揭示可读性-质量权衡现象

在信息质量方面，研究发现了与可读性相反的趋势。非专科医师的DISCERN评分显示，Grok-3（56.5±7.7）显著高于ChatGPT-4（36.3±5.2）和DeepSeek-R1（36.3±4.9）（均p<0.0001）。传染病专家的评估结果更加明显：Grok-3中位数评分71（69-73）显著高于ChatGPT-4的43.5（38-49）（p<0.0001）和DeepSeek-R1的54（49-59）（p=0.0006）。这一反差揭示了一个关键现象——更高质量的信息往往伴随着更高的阅读难度，而更易读的文本则倾向于简化内容，可能牺牲了信息的完整性和准确性。

评分者一致性因模型和专业背景而异

评分者间可靠性分析显示，非专科医师对DeepSeek-R1（ICC=0.95）和Grok-3（ICC=0.98）的评价具有极好的一致性，但对ChatGPT-4的一致性仅为中等（ICC=0.58）。专科医师间的一致性均为中等水平（ICC≈0.59-0.72），但置信区间较宽，表明评分稳定性有待提高。这种差异可能反映了不同模型输出内容的一致性和明确性程度不同，也提示专业背景会影响对信息质量的判断标准。

全球搜索行为分析为研究提供背景支持

研究还分析了全球HIV相关搜索行为模式，发现"艾滋病"（AIDS）作为搜索词在牙买加、菲律宾、尼日利亚、缅甸和坦桑尼亚等中低收入国家搜索强度最高，这些地区也是HIV疾病负担较重的区域。语义共现网络分析显示，公众搜索主要围绕核心HIV术语、医学定义、病毒命名和免疫学概念等主题，反映出多样化的信息需求和一些术语混淆现象。时间趋势分析表明，2010-2015年期间搜索强度较高，2016年后逐渐下降，但在2020-2021年出现明显峰值，可能与世界艾滋病日等国际活动相关。

研究结论强调LLMs在HIV传播中的适当定位

本研究最重要的发现是揭示了LLMs生成HIV内容时存在的"可读性-质量权衡"现象。高质量信息往往需要更高的阅读能力，而易读内容则可能不够完整。这一发现对实际应用具有重要指导意义：LLMs可能最适合作为上游起草工具，而非直接面向患者的系统。在实际应用中，需要专家对模型输出进行准确性、污名化敏感性和受众适宜性审查，然后根据目标群体的识字水平进行编辑和本地化。

研究人员在讨论中指出，考虑到数字鸿沟（接入、可负担性、数字/健康素养、语言适配、隐私/安全等）持续存在，LLMs最佳定位可能是作为实施者（政府部门、非政府组织、诊所）的创作工具，而非直接患者系统。经过人工审核后，内容应适配低带宽或离线渠道——社区卫生工作者咨询卡片、短信/非结构化补充数据业务/交互式语音应答、广播脚本、诊所信息亭、印刷传单等。

研究局限与未来方向

本研究作为方法学内容评估，未评估信息覆盖范围、可及性、行为改变或健康结局，也不声称具有现实世界有效性。零样本、基于关键词的设计提高了生态效度，但可能增加模型间方差。可读性公式的跨语言有效性有限，研究结果应作为编辑和渠道选择的指导，而非过度推广到理解或行为层面。

未来研究需要（i）使用测验和回授法在目标人群中测试理解度和可操作性；（ii）进行实地A/B实验，评估采纳情况（如检测、联系和随访）；（iii）开展本地化、保护隐私的低带宽服务实施研究，并明确可行性和成本评估。此外，还需要通过分层抽样跨越地区、语言和时间，以及社区共同设计用户意图来解决主题选择偏差问题。

这项研究为LLMs在公共卫生领域的应用提供了重要的方法学基础，强调了在追求技术效率的同时，必须关注信息的可及性、准确性和文化适宜性。随着人工智能技术的快速发展，如何在技术创新与公共卫生需求之间找到平衡点，将是实现全球HIV防控目标的关键所在。