人工智能聊天机器人 Bing Chat 在肾结石管理咨询中的表现评估

研究人员评估 Bing Chat 不同模式对肾结石管理问题的回复，发现其提供的信息质量较低。

　　目的：人工智能（AI）技术不可避免地渗透到医疗保健领域。Bing Chat 是一款具有不同对话风格的人工智能聊天机器人。研究人员评估了其针对肾结石（nephrolithiasis）管理的各种回复模式的答案。
方法：基于美国泌尿协会（AUA）结石手术管理指南，共提出 20 个问题。三位医生使用简明 DISCERN 工具，对 Bing Chat 在精准（Precise）、平衡（Balanced）和创意（Creative）对话风格聊天模式下的回复进行评估。采用共识评分来评估回复的恰当性、是否遵循指南、共情程度、是否建议就医咨询以及是否无法回答问题。同时评估回复的直接性和是否存在多余信息。使用描述性统计以及方差分析（ANOVA）、卡方检验和 Fisher 精确检验对聊天模式进行比较。
结果：精准、平衡和创意模式下的简明 DISCERN 评分中位数分别为 22、21 和 21。三种聊天模式的简明 DISCERN 评分没有显著差异（p = 0.68）。聊天机器人不同对话风格的指南遵循情况相似（p = 0.37），回复恰当性（p = 0.62）、直接回答问题的情况（p = 0.26）以及建议咨询医疗服务提供者的情况（p = 0.07）也相似。在评估回复共情程度时，创意和平衡模式优于精准模式。创意模式更有可能包含多余信息，且回答问题的可能性更低。
结论：在当前版本中，无论采用何种对话风格，Bing Chat 针对肾结石咨询提供的泌尿外科医疗信息质量较低。