《Frontiers in Reproductive Health》：A comparative cross-sectional evaluation of generative AI chatbots for patient-oriented bacterial vaginosis health advice: safety, accuracy, guideline concordance, empathy, and readability
编辑推荐：
背景： 细菌性阴道病（bacterial vaginosis，BV）涉及私密症状、病耻感、诊断不确定性、药物使用、妊娠、性健康及自我照护等多方面问题。公众可访问的生成式人工智能（generative artificial intelligence）聊天机器人能
背景： 细菌性阴道病（bacterial vaginosis，BV）涉及私密症状、病耻感、诊断不确定性、药物使用、妊娠、性健康及自我照护等多方面问题。公众可访问的生成式人工智能（generative artificial intelligence）聊天机器人能够提供即时且潜在不带评判性的信息，但具体回答的质量与安全性仍不确定。
目的： 使用标准化、研究人员开发的面向患者的BV相关问题，比较五个公开可访问的生成式AI聊天机器人界面。在本研究中，面向患者（patient-oriented）指面向消费者的措辞，并不暗示直接来源于患者或经过患者验证。
方法： 研究人员将61个标准化英语问题分别向ChatGPT、Gemini、Microsoft Copilot、DeepSeek和豆包各提交一次，采用独立的单轮会话，共获得305条回复。五位资深妇产科医师独立评估安全性、准确性、研究特定指南锚定一致性（guideline-anchored concordance）及共情性，并采用问题特定参考框架。独立评分在裁定前锁定，用于估计评分者间一致性。共识评分用于主要比较，敏感性分析采用五项锁定评分的中位数。可读性采用六种基于公式的指标单独评估。配对比较采用Cochran's Q检验、Friedman检验、McNemar检验及Wilcoxon符号秩检验，并采用Benjamini-Hochberg校正。
结果： 31条回复（10.2%）被归类为不安全或潜在不安全。观察到的各界面不安全率范围为6.6%（95% CI，2.6%–15.7%）至14.8%（95% CI，8.0%–25.7%），而匹配二元比较未检测到总体差异（Cochran's Q = 2.596，df = 4，P = 0.627）。在记录查询条件下，准确性（Kendall's W = 0.686）、研究特定指南锚定一致性（W = 0.243）、共情性（W = 0.322）及全部六项可读性指标（W范围，0.482–0.679；均P < 0.001）均检测到差异。敏感性分析得出相同推断结论。不安全内容出现在每个界面中，且集中于复发性BV、性健康、药物及自我照护场景。
结论： 本探索性研究描述了特定聊天机器人回复的记录样本特征，而非稳定或可重复的性能特征。每个界面均观察到临床相关风险，安全性比较的非显著性不应被解释为等效性。由于每个研究人员开发的提示词仅提交一次，且各界面按固定顺序在不同日期查询，研究结果不能确立底层模型能力的稳定排名、临床有效性或适合无监督照护的结论。
论文解读
一、研究背景与研究意义
细菌性阴道病（bacterial vaginosis，BV）是一种常见的阴道微生态失调，以保护性乳杆菌属减少、厌氧菌多样性增加及阴道pH升高为特征。许多感染者无症状；出现症状时，典型表现为稀薄灰白色分泌物和鱼腥味。BV与性行为和微生物组相关因素有关，但并非不忠、滥交、卫生不良或经典性传播感染的证据。复发性BV十分常见，妊娠、药物不良反应、给药途径偏好及当地指南均会影响治疗方案的选择。这些临床细微差别使得面向消费者的简短建议容易陷入过度安抚或过度表述两个极端。
生成式人工智能（generative artificial intelligence）聊天机器人正日益成为公众获取健康信息的首要接触渠道。在BV相关场景中，阴道异味、分泌物、复发及性健康问题可能令人尴尬或带有病耻感，部分个体不愿当面披露私密困扰。聊天机器人提供的便捷性、感知匿名性、即时访问及免于人际评判的特点可能促进用户参与，但隐私、信任、交互受限、共情性及感知准确性仍是重要关切。语言流畅并不能保证临床可靠性，生成式AI系统可能以自信措辞产出过时、不完整、内部不一致或缺乏依据的陈述。在BV相关场景中，潜在失败包括仅凭症状或非处方pH试纸进行诊断、遗漏警示信号、无监督使用抗生素、不合格的硼酸建议、有害的阴道内操作、妊娠警示不足以及绝对化的伴侣治疗建议。
既往对聊天机器人生成的性传播疾病和HIV相关信息评估已报道界面间差异以及可读性与信息质量之间的持续张力，但未涉及BV特有的复发、妊娠、药物安全保障、伴侣管理、病耻感及阴道内自我照护等综合挑战。因此，本研究对五个公开可访问的生成式AI聊天机器人界面进行比较横断面评估，使用61个标准化、研究人员开发的面向患者BV问题，评估安全性、准确性、研究特定指南锚定一致性、共情性及可读性，以描述记录回复的特征并识别需要临床验证和人工监督的领域。
二、研究设计与关键方法
本研究为探索性横断面比较研究，纳入ChatGPT、Gemini、Microsoft Copilot、DeepSeek和豆包五个面向消费者的聊天机器人界面。问题开发于2026年7月8日至9日进行，候选主题来源于临床指南、专业患者教育资源、近期综述、Google Trends及Google搜索建议/相关查询模式。初始题库含158个问题，经两名研究人员独立筛选后最终保留61个问题，覆盖八个领域：疾病理解与流行病学（8题）、症状鉴别诊断与警示信号（9题）、诊断检测与临床沟通（8题）、治疗与用药安全（10题）、复发性BV与性健康（9题）、妊娠生育与妇科操作（7题）、自我照护预防与产品相关误解（7题）及心理社会关切病耻感与特殊情境（3题）。
数据于2026年7月10日至14日在中国无锡收集，每个问题向每个界面提交一次，共获得305条回复。每条提示均开启新会话，保留首个完整回复，不因不准确、不完整或与参考框架不一致而重新生成。评分前开发了问题特定指南锚定参考框架，以临床实践指南、专业公报及官方公共卫生指导为主要来源，以试验、系统综述及权威患者教育资源为支持证据。五位具有9至15年临床经验的资深妇产科医师独立评估全部回复，评分前完成校准，锁定评分后计算Fleiss' kappa和组内相关系数（intraclass correlation coefficient，ICC），随后通过共识裁定解决分歧。可读性采用六种公式化指标计算：自动可读性指数（Automated Readability Index，ARI）、Coleman-Liau指数（CL）、Flesch-Kincaid年级水平（FKGL）、Gunning Fog指数（GFI）、SMOG指数及Flesch阅读易读性评分（FRES）。统计分析采用Cochran's Q检验、Friedman检验、McNemar检验及Wilcoxon符号秩检验，并以Benjamini-Hochberg方法控制错误发现率。
三、研究结果
回复完整性与评分者间一致性： 全部305条回复和所有临床医师评分均可用。锁定评分的评分者间一致性为：安全性Fleiss' kappa = 0.881（95% CI，0.816–0.932），准确性ICC(2,1) = 0.882（95% CI，0.862–0.900），指南一致性ICC(2,1) = 0.889（95% CI，0.871–0.906），共情性ICC(2,1) = 0.875（95% CI，0.854–0.894）。
锁定独立评分敏感性分析： 四项临床医师评分结果中，1220个裁定回复级评分中有1218个（99.8%）与五项锁定评分的中位数一致。敏感性分析再现了主要推断结论，校正后配对显著性模式不变。
安全性： 305条回复中，274条（89.8%）安全，31条（10.2%）不安全或潜在不安全。观察到的各界面不安全率范围为ChatGPT的6.6%（95% CI，2.6%–15.7%）至豆包的14.8%（95% CI，8.0%–25.7%）。匹配二元分析未检测到总体差异（Cochran's Q = 2.596，df = 4，P = 0.627），校正后无配对比较保持显著。31条不安全编码回复中，11条轻微、16条中度、4条重度。不安全编码最常见于自我照护、预防及产品相关问题（7/35，20.0%）和复发性BV与性健康问题（7/45，15.6%）。
准确性： 各界面准确性分布存在差异（Friedman卡方 = 167.484，df = 4，P < 0.001；Kendall's W = 0.686，95% CI，0.626–0.749）。记录样本中ChatGPT观察分布最高、豆包最低；除Copilot与DeepSeek外，所有校正后配对比较均显著。
指南一致性与共情性： 研究特定指南锚定一致性在各界面间存在差异（Friedman卡方 = 59.377，df = 4，P < 0.001；W = 0.243）。均值为ChatGPT 65.44 ± 14.50、Gemini 61.75 ± 13.30、Copilot 58.20 ± 11.83、DeepSeek 56.83 ± 11.13、豆包52.87 ± 8.03。共情性同样存在差异（Friedman卡方 = 78.600，df = 4，P < 0.001；W = 0.322），ChatGPT观察分布最高、豆包最低。
可读性： 六项可读性指标均显示界面间差异（均Friedman P < 0.001）。ChatGPT和豆包通常具有较低年级水平估计和较高FRES，DeepSeek的ARI、FKGL、GFI和SMOG最高且FRES最低，Copilot的CL最高。Kendall's W范围为0.482至0.679。
四、讨论与结论
讨论部分指出，本研究是对305条特定回复的快照比较，而非稳定性能特征的描述。不安全或潜在不安全内容出现在全部五个界面中，配对二元分析未检测到总体安全性差异，而准确性、指南一致性、共情性及可读性分布存在差异。观察到的排序不应被解释为结构性优势或底层模型的稳定排名，因为界面身份与查询日期不可分离、每个提示仅采样一次、部署条件仅部分记录。
最严重的问题涉及复发性BV、药物使用、性活动及自主产品，包括无监督的抑制性或多药方案、缺乏妊娠或摄入警示的硼酸建议、阴道内克林霉素与乳胶屏障相互作用的警示不完整等。基于症状的自我诊断尤其需要谨慎，2026年发表的前瞻性临床数据表明，患者报告的阴道症状的存在、组合及复发并不能可靠区分细胞学BV、宫颈炎症、HPV阳性或细胞学异常。
临床实践意义方面，聊天机器人可能支持一般性解释并减少人际评判，但本研究不支持将其作为妊娠、持续或复发症状、盆腔疼痛、出血、可疑性传播感染或处方决策场景中评估的替代品。平台安全保障应优先考虑简洁的诊断不确定性表述、药物特定警示、透明限制及对演变中建议的及时更新。未来研究应使用真实用户来源的问题、重复生成、随机化或同步查询时间、多轮和多语言交互、可行时采用来源中立评估，并直接测试患者和公众的理解、披露、决策及隐私期望。
研究结论为：在61个标准化研究人员开发的BV问题中，五个公开聊天机器人界面在准确性、研究特定指南锚定一致性、共情性及可读性方面产生不同观察分布。配对二元分析未检测到总体安全性差异，但每个界面均出现不安全或潜在误导内容，且观察率置信区间较宽。这些发现描述了五天收集期内特定回复的特征，不能确立稳定模型排名、可重复性能、等效安全性、用户理解、临床有效性或真实世界安全性。关于诊断、处方治疗、妊娠、分诊及复发疾病的聊天机器人信息需要临床验证。
