人工智能生成脊柱裂产前咨询回复的科学准确性、质量与可读性评估：ChatGPT、Grok与Gemini的比较研究

《Archives of Gynecology and Obstetrics》：Artificial intelligence in the physician’s seat: a scenario-based evaluation of scientific accuracy, quality, and readability

　　

摘要

目的

评估在脊柱裂（SB）诊断后，人工智能（AI）生成的产前咨询回复的科学准确性、质量和可读性。

方法

将20个关于产前脊柱裂诊断的常见家长问题以土耳其语提交给ChatGPT、Grok和Gemini。由围产医学和儿科神经病学专家独立评估回复，评估工具包括JAMA基准标准、全球质量评分（GQS）、改良DISCERN量表和5点Likert量表。使用Ate?man可读性公式评估可读性，分别使用Kendall's Tau-b和组内相关系数评估评估者间关联和绝对一致性。

结果

所有AI工具均获得专家评定较高的科学准确性评分和较高的总体评估评分，所有模型在JAMA标准上均获得满分。三种AI模型在GQS、DISCERN和Likert评分方面存在显著的总体差异（Friedman检验，所有p < 0.05）。经Bonferroni校正的成对比较（Wilcoxon符号秩检验，精确p值）后，ChatGPT在DISCERN和Likert量表上的得分显著高于Grok；其他成对比较（包括ChatGPT与Gemini在任何量表上的比较）在校正后均未达到统计学显著性。可读性评分对应于高中阅读水平。评估者间关联和绝对一致性因模型而异，Gemini的吻合度较高，Grok的估计值较低且不显著，而ChatGPT因评分变异性不足而导致可解释性有限。

结论

与标准临床参考文献（ACOG实践公报第187号）相比，AI工具能够生成科学准确且全面的脊柱裂产前咨询信息。虽然它们不能替代医患互动，但可作为患者教育和咨询的有用辅助工具。

图形摘要