综述：耳鼻喉科领域中生成式人工智能方法学的报告：一项范围综述

《LARYNGOSCOPE》：Generative Artificial Intelligence Methodology Reporting in Otolaryngology: A Scoping Review

针对耳鼻喉头颈外科领域大语言模型（LLMs）相关研究的方法学报告质量进行了系统综述，发现仅46.2%的研究完整披露提示工程细节，且方法学质量无时间改善趋势，影响研究可推广性。

　　

摘要

研究目的

耳鼻喉科-头颈外科（OHNS）的研究人员一直在探索大型语言模型（LLMs）的潜力，但许多出版物并未包含关键信息，例如提示方法和模型参数。这对研究的可重复性具有重要影响，因为LLMs可能会因“提示工程”的不同而产生不同的输出。我们的目标是批判性地评估专注于LLMs的OHNS相关文献的方法学报告和质量。

数据来源

数据检索工作于2024年10月进行，涉及的数据库包括PubMed、Embase、Web of Science、ISCA Archive、IEEE Xplore、arXiv、medRxiv和engRxiv。

审查方法

摘要和全文的审查以及数据提取工作由两位独立审稿人完成。所有在OHNS领域使用LLMs的主要研究都被纳入了评估范围。

研究结果

在检索到的925篇摘要中，有117篇被纳入分析。所有研究均使用了ChatGPT，其中少数研究（16.2%）还使用了其他LLMs。只有46.2%的研究直接引用了所有使用的提示内容。虽然大多数研究（76.9%）报告了提示的数量，但只有6.8%的研究对这一数字进行了合理解释，23.9%的研究报告了每个提示的运行次数。大多数出版物（73.5%）对提示的开发过程进行了简要描述，然而只有11.1%的研究明确说明了在提示设计中做出特定决策的原因，仅有6.0%的研究报告了提示的测试情况。没有证据表明方法学报告的质量随时间有所改善。

结论

专注于LLMs的OHNS相关文献虽然探索了许多有潜力的研究方向，但在方法学报告的完整性方面存在显著差异。这严重限制了这些研究的普遍适用性，建议研究人员和期刊进一步推广和执行最佳实践。

利益冲突

Ana?s Rameau是SoundHealth Systems Inc.和Pentax Medical的顾问，同时也是VAST Health LLC的创始人。其他作者均声明没有利益冲突。