《Frontiers in Public Health》：Toward safer digital sexual health communication: evaluating the public health reliability of large language model responses on sexually transmitted infections
编辑推荐：
背景：性传播感染（sexually transmitted infections, STIs）的全球负担持续上升，然而污名化促使许多人转向人工智能聊天机器人寻求敏感健康信息。大语言模型（large language model, LLM）在性健康方面的应答质量
背景：性传播感染（sexually transmitted infections, STIs）的全球负担持续上升，然而污名化促使许多人转向人工智能聊天机器人寻求敏感健康信息。大语言模型（large language model, LLM）在性健康方面的应答质量、安全性、可读性及去污名化程度仍未得到充分评估，尤其是针对非西方模型。方法：本横断面研究依据Google Trends、美国疾病控制与预防中心（Centers for Disease Control and Prevention, CDC）指南及患者教育平台，构建了30个标准化英文查询（5个主题×6个问题），并通过官方应用程序编程接口（API）向三个LLM——GPT-5.4、DeepSeek-V4-Pro和Kimi K2.6——提交查询，每个查询重复两次（共180条应答）。两名皮肤性病科医师（从业经验>10年）在不知晓平台身份的情况下，采用五级量表对六个维度（准确性、完整性、安全性、可理解性、可操作性及去污名化）进行评分，并辅以四项可读性指标（FKGL、FRE、GFI和SMOG）。主要分析采用线性混合效应模型并保留所有个体评分；原有的聚合非参数分析流程作为敏感性分析保留。信度评估采用组内相关系数（intraclass correlation coefficient, ICC）和二次加权Cohen's κ，并报告95%置信区间；相关性分析采用查询级聚类自举法并进行错误发现率（false-discovery-rate, FDR）控制。结果：平台间在准确性（χ2(2) = 19.12，Holm校正P < 0.001）、可理解性（χ2(2) = 13.54，P = 0.006）和去污名化（χ2(2) = 9.16，P = 0.041）方面存在显著差异。GPT-5.4和Kimi K2.6的准确性最高（中位数均为5.00），均显著高于DeepSeek-V4-Pro，且两者之间无显著差异。DeepSeek-V4-Pro和Kimi K2.6均比GPT-5.4使用了显著更多的去污名化语言，而两者之间无显著差异。GPT-5.4在全部四项可读性指标上产生的文本最难读懂（所有校正后P < 0.01）。评分者间信度为良好至优秀（ICC(2, 1) = 0.79–0.95；二次加权κ = 0.79–0.95）。结论：三个LLM表现出不同的特征：GPT-5.4和Kimi K2.6达到最高准确性，而GPT-5.4产生的输出最不易读；DeepSeek-V4-Pro和Kimi K2.6使用了更多去污名化语言。据研究人员所知，这是首次将去污名化语言量化为LLM生成的STI内容评估维度，尽管该测量仍属探索性指标，尚待正式内容效度验证。研究结果仅限于上述模型和查询，可为更安全的人工智能驱动的性健康传播提供质量标准和监测参考。
论文解读：大语言模型在性传播感染健康传播中的质量、安全性与去污名化评估
一、研究背景与问题提出
性传播感染（sexually transmitted infections, STIs）仍是全球最紧迫的公共卫生挑战之一。2019年全球疾病负担研究估计，全球新发STI病例约7.7亿例，梅毒、淋病、衣原体感染和滴虫病共同造成巨大的发病、死亡和经济负担。世界卫生组织已将开发可负担的即时检测、新型疗法和多功能预防技术列为未来十年优先研究事项。与此同时，人们获取性健康信息的方式正在经历深刻的数字化转型——以大语言模型（large language model, LLM）驱动的聊天机器人已成为敏感健康咨询的日益流行的渠道。相关系统综述表明，这些工具能够克服地理、经济和时间的就医障碍，为用户提供即时、私密且不带评判的信息获取途径。然而，LLM生成健康信息的质量、安全性和可读性仍不一致且缺乏系统刻画。既往评估显示，ChatGPT等模型输出的可读性经常超过患者教育材料推荐的六年级阅读水平，常需大学水平的理解能力。这一可读性差距并非无关紧要：过于复杂的文本是理解和健康素养的主要障碍，尤其是在弱势群体中。
在STI这一特定领域，污名化的普遍存在使问题更加复杂。与STI相关的污名已被证明会延迟就医、降低治疗依从性并加重心理困扰。然而，LLM在生成STI相关内容时是否主动使用去污名化、以人为本和文化敏感的语言，此前尚未得到系统评估。截至研究开展时，尚无研究将"去污名化"作为独立、可量化的健康信息质量维度纳入LLM评估框架。另一个关键空白涉及现有文献几乎完全聚焦于西方开发的模型——绝大多数评估针对OpenAI的GPT系列、Google的Gemini或Meta的Llama，而性能优越的中国开发模型如DeepSeek-V4-Pro和Kimi K2.6在性健康领域基本未被研究。鉴于这些模型在架构、训练语料和对齐策略上的差异，且被中文和全球用户日益广泛使用，其性能特征可能与西方模型不同。基于此，该横断面比较研究旨在系统评估GPT-5.4、DeepSeek-V4-Pro和Kimi K2.6生成的STI相关应答的质量、安全性、可读性及去污名化语言使用情况。
二、研究设计与主要方法
该研究采用横断面比较设计，依据流行病学观察性研究报告规范（Strengthening the Reporting of Observational Studies in Epidemiology, STROBE）进行设计和报告。研究不涉及人类受试者、可识别个人健康信息或临床干预，所有查询均为标准化模拟患者问题，所有应答均通过所评估平台的官方API生成，因此无需机构伦理审查和知情同意。
研究选取三个广泛使用的对话式AI平台作为评估对象：GPT-5.4（OpenAI）、DeepSeek-V4-Pro（DeepSeek AI）和Kimi K2.6（Moonshot AI）。查询库构建方面，研究人员依据Google Trends（2026年中期，美国地区，英文关键词）、CDC性传播感染治疗指南和成熟患者教育平台，通过共识讨论筛选出30个标准化英文问题，覆盖STI护理的五个主题领域：（1）疾病识别与症状；（2）预防与疫苗接种；（3）治疗与管理；（4）并发症与预后；（5）特殊人群。所有应答于2026年7月11日通过三个平台的官方API收集，每个查询提交两次，共获得180条应答。统一系统消息为"你是一个有用的医疗信息助手。提供准确、全面且安全的健康信息。"采用单轮非迭代提问策略，采样参数设置为温度0.7（Kimi K2.6因API限制固定为1.0），最大输出2,048个token。
评估框架方面，两名具有超过10年临床经验的皮肤性病科医师在不知晓平台身份的情况下，采用六维度五级评分量表对每条应答进行独立评估。六个维度改编自已建立的健康信息质量框架，包括患者教育材料评估工具（Patient Education Materials Assessment Tool, PEMAT）和DISCERN工具，具体操作化定义如下：（i）准确性：事实正确性及与当前临床指南的一致性；（ii）完整性：回答查询所需基本信息的覆盖程度；（iii）安全性：无有害、误导或禁忌建议；（iv）可理解性：对非专业受众的清晰度和可及性；（v）可操作性：提供具体可行的后续步骤；（vi）去污名化：使用非评判性、以人为本和文化敏感的语言。其中去污名化是研究引入的新型探索性维度。评分前对所有应答进行去标识化处理，评分顺序完全随机化，两名评分者独立工作。
可读性评估采用四项广泛使用的指标：Flesch-Kincaid年级水平（FKGL）、Flesch阅读易读性（FRE）、Gunning Fog指数（GFI）和简单测量胡言乱语指数（SMOG）。统计分析方法上，主要分析采用线性混合效应模型，保留每个维度的全部360个个体评分（180条应答×2名评分者），固定效应为平台、评分者和重复次数，查询设随机截距，个体应答设方差分量。平台整体效应使用似然比检验，跨六个质量维度进行Holm校正。显著的总体结果后进行模型估计的两两平台对比，采用Bonferroni校正。原有的聚合分析流程——取每条应答两名评分者的中位数和两次重复的中位数，然后进行Friedman检验和Bonferroni校正的Wilcoxon符号秩事后检验——作为敏感性分析保留。评分者间信度采用ICC(2, 1)和二次加权Cohen's κ量化。探索性相关性使用Spearman相关，采用查询级聚类自举95%置信区间，并进行Benjamini-Hochberg FDR校正。
三、研究结果
3.1 概述与评分者间信度
研究共生成180条LLM应答（30个查询×3个平台×2次重复），由两名独立皮肤性病科医师评估，每个维度获得360个个体评分。六个维度的评分者间信度为良好至优秀：ICC(2, 1)范围为0.79（95% CI 0.73–0.84；准确性）至0.95（95% CI 0.94–0.96；可操作性），二次加权Cohen's κ范围为0.79（95% CI 0.71–0.85；完整性）至0.95（95% CI 0.89–0.99；可操作性）。观察一致性范围为86.1%（完整性）至97.2%（可操作性），所有评分对均在量表一个点以内。
3.2 质量维度比较
在保留每个维度全部360个评分的主要混合效应分析中，准确性（似然比χ2(2) = 19.12，Holm校正P < 0.001）、可理解性（χ2(2) = 13.54，校正P = 0.006）和去污名化（χ2(2) = 9.16，校正P = 0.041）检测到显著平台效应，而完整性、安全性和可操作性无显著差异（所有校正P = 1.00）。准确性方面，GPT-5.4和Kimi K2.6的中位数均为5.00，DeepSeek-V4-Pro得分较低（中位数4.88）。两两对比显示，GPT-5.4（β = 0.26，Bonferroni校正P < 0.001）和Kimi K2.6（β = 0.27，校正P < 0.001）均显著高于DeepSeek-V4-Pro，而GPT-5.4与Kimi K2.6之间无显著差异（β = ?0.01，校正P = 1.00）。可理解性方面，三个平台共享相同的中位数4.00，但查询内排名模式存在系统性差异：GPT-5.4显著高于DeepSeek-V4-Pro（β = 0.43，校正P < 0.001），而Kimi K2.6与DeepSeek-V4-Pro（β = 0.21，校正P = 0.079）及GPT-5.4与Kimi K2.6（β = 0.22，校正P = 0.063）之间的对比在校正后未达到显著水平。去污名化方面，DeepSeek-V4-Pro（中位数4.50）和Kimi K2.6（中位数4.00）均显著高于GPT-5.4（中位数4.00；β = 0.38和β = 0.32，校正P分别 < 0.001和P = 0.006），而DeepSeek-V4-Pro与Kimi K2.6之间无显著差异（β = 0.06，校正P = 1.00）。安全性表现出显著的天花板效应（所有平台中位数均为5.00），限制了基于秩和基于似然的检验效能。
3.3 可读性概况
四项可读性指标在查询级分析中均显示平台间显著差异（Friedman检验，所有Holm校正P < 0.01）。GPT-5.4产生最难读的文本（FKGL中位数16.12，FRE 30.78，GFI 18.82，SMOG 15.86），在每项指标上均显著难于DeepSeek-V4-Pro和Kimi K2.6（所有Bonferroni校正P < 0.01）。DeepSeek-V4-Pro（FKGL 11.88，FRE 41.97）和Kimi K2.6（FKGL 12.60，FRE 40.14）在各项指标上无显著差异（所有校正P > 0.07）。所有平台均远高于推荐的六年级阅读水平（FKGL ≤ 6）。
3.4 探索性相关性
66对Spearman相关性中有39对在校正后仍显著。三个年级水平指数高度相关（ρ = 0.94–0.98），属于预期结构关系。在合并水平上，准确性与词数呈负相关（ρ = ?0.20，FDR校正P = 0.019），与句数呈负相关（ρ = ?0.26，校正P = 0.002），而去污名化与词数呈正相关（ρ = 0.41，校正P < 0.001）。平台内分析显示，合并的准确性与词数关联由平台间差异驱动：GPT-5.4内为+0.27，DeepSeek-V4-Pro内为?0.04，Kimi K2.6内为?0.13。去污名化与年级水平可读性指数呈负相关（ρ = ?0.28至?0.32，均FDR显著），表明使用更多去污名化语言的应答往往更易读。
3.5 敏感性与稳定性分析
统一设置（温度0.7）下比较GPT-5.4和DeepSeek-V4-Pro的敏感性分析确认了主要发现的稳健性：准确性、可理解性和去污名化仍显著不同，完整性、安全性和可操作性仍不显著。重复间稳定性有限：跨重复ICC值范围为?0.05（GPT-5.4准确性，95% CI ?0.40至0.31）至0.68（DeepSeek-V4-Pro可理解性，95% CI 0.42–0.83）。
四、讨论总结与结论
该研究具有多项优势：标准化查询库基于真实搜索趋势和临床指南，反映常见患者信息需求；两名经验丰富的皮肤性病科医师进行盲法独立评估，评分者间信度良好至优秀（ICC(2, 1) 0.79–0.95）；主要混合效应分析保留所有个体评分并考虑嵌套数据结构，非参数敏感性分析得出收敛结果；探索性去污名化维度的纳入填补了现有评估框架的空白，与WHO在STI控制中对健康公平和污名减少的强调一致。
研究结论指出，三个被评估的LLM在数字STI健康沟通方面表现出不同的特征。GPT-5.4和Kimi K2.6达到最高准确性，而GPT-5.4产生最难读的输出，可能对许多普通读者构成挑战。DeepSeek-V4-Pro提供最易读的文本但准确性显著较低，DeepSeek-V4-Pro和Kimi K2.6均比GPT-5.4使用更多去污名化语言，两者间无显著差异。Kimi K2.6证明高准确性和可及性语言可以共存。据研究人员所知，这是首次将去污名化语言量化为LLM生成的STI内容评估维度，尽管该测量仍属探索性指标，尚待正式内容效度验证。在30个标准化英文查询和三个特定模型的范围内，这些发现可为更安全、更公平的人工智能驱动的性健康信息系统的质量标准和持续监测提供参考，并强调将污名减少和健康素养作为医学LLM开发核心设计目标的必要性。
