评估大型语言模型在编码常见骨科手术程序方面的准确性和可靠性

CPT编码自动化应用研究：基于ChatGPT-4o的骨科手术编码准确率达86.7%，经复检后提升至93.9%，手外科编码难度显著高于运动医学。该研究验证了LLM在降低骨科临床行政成本、提高编码一致性方面的应用潜力。

　　```section>

摘要 通俗语言总结

---

背景：

当前的程序术语（CPT）代码在骨科手术的计费和文档记录中至关重要，但编码过程可能既复杂又成本高昂。大型语言模型（LLMs）在自动化CPT编码方面展现出了潜力。

方法：

从运动医学、足踝医学和手外科这三个亚专业中各选取了10种骨科手术类型。手术名称由作者根据我们机构的实际操作情况确定，随后使用美国专业编码协会的“Codify”工具对这些手术的CPT代码进行了二次验证。我们使用了一个符合《健康保险流通与责任法案》（HIPAA）要求的、基于ChatGPT-4 Omni（ChatGPT4o）的LLM，根据手术名称生成相应的CPT代码。每种手术进行了三次独立测试。测试结果被分为“正确”、“部分正确”或“错误”，并分别给予+1、+0.5或+0的分数。模型性能以最高可能得分的百分比来评估。对于错误的回答，模型会被重新提示以尝试再次生成正确的代码。

结果：

LLM在86.7%的测试中生成了正确的CPT代码，总体表现达到了最高可能得分的88.9%。不同亚专业的表现存在差异（P=0.018），其中手外科手术的表现相对较低（P=0.019）。经过重新提示后，LLM的表现提升到了最高可能得分的93.9%。LLM在区分手外科手术中相关度较高的代码时遇到了最大困难。

结论：

这项研究表明，基于LLM的骨科编码具有快速、准确且成本效益高的潜力，有望在实际应用中减轻行政工作负担、提高编码一致性，并可能降低骨科临床实践的成本。

通俗语言总结：本研究探讨了利用大型语言模型（LLM）自动化骨科手术CPT编码的方法，旨在简化这一复杂且成本高昂的流程。基于ChatGPT-4的LLM在运动医学、足踝医学和手外科手术类型的测试中表现出色，正确生成CPT代码的比例达到了86.7%，经过重新提示后这一比例提升至93.9%。不同亚专业的表现存在差异，其中手外科手术的编码难度更大。研究结果表明，LLM可以提高编码的准确性和效率，从而可能减少骨科临床实践中的行政工作量和成本。

本文本由机器生成，可能存在不准确之处。 常见问题解答

```