通过护士Ruth评估GPT-4对产科医疗文本的语义理解

《ACM Transactions on Intelligent Systems and Technology》：Evaluating GPT-4’s Semantic Understanding of Obstetric-based Healthcare Text through Nurse Ruth

Nurse Ruth作为AI驱动的产科护理助手，在资源有限环境中验证其有效性，采用STM和SUM评估指标显示其语义理解与响应准确性超过80%，在产科挑战性查询中100%准确，优于GPT系列模型，但需提升多领域复杂场景的召回率。

　　

摘要

“Nurse Ruth”是一款由人工智能驱动的辅助系统，旨在为资源有限的环境以及非专业医疗保健提供者提供产科护理支持。为了开发和验证“Nurse Ruth”的性能，我们引入了两种新的评估指标：语义透明度指标（Semantic Transparency Metric, STM）和语义理解指标（Semantic Understanding Metric, SUM），用以评估其响应的准确性、与上下文的关联性以及对常规和对抗性临床问题的鲁棒性。通过迭代优化和有针对性的知识整合，“Nurse Ruth”在STM和SUM指标上的表现均超过了80%的阈值，进一步证明了其提供清晰、基于证据且符合上下文要求的临床指导的能力。尽管在响应的清晰度和上下文准确性方面表现优异，但在处理复杂的多领域产科场景时仍需进一步提升其召回率。通过与领先的人工智能模型（GPT-4o、GPT-4和GPT-o1）进行语义验证的对比测试，“Nurse Ruth”展现了其优越性：在产科相关问题上，它的准确率达到了100%，在精确度和效率方面均优于这些通用人工智能模型。与这些模型不同，“Nurse Ruth”能够提供简洁、快速的响应，使其成为实际临床应用中最有效的系统。这些研究结果验证了“Nurse Ruth”的语义理解能力，并为专门医疗领域中的人工智能驱动决策支持建立了一个可复制的评估框架。未来的工作将重点改进其在多方面产科病例中的召回率，并验证其在实际临床中的效果。