编辑推荐：
针对手动提取放射学报告中脊柱压缩性骨折信息耗时易错的问题，研究人员开展基于 Meta Llama 3.1 等模型的提示策略研究。在 637 份报告测试中，Llama 3.1 70B 模型获最高 F1 分数 0.91，表明无需大量标注数据的提示技术有效。
从放射学报告中提取信息可为众多放射学工作流程提供关键数据。对于脊柱压缩性骨折（vertebral compression fractures），这些数据有助于为高危人群提供循证护理（evidence-based care）。从自由文本报告中手动提取信息既费力又容易出错。大语言模型（large language models, LLMs）已显示出潜力，但优化特定任务性能的微调策略可能需要大量资源。多种提示策略以较低的资源需求取得了类似结果。本研究首次将 Meta 的 Llama 3.1 与基于提示的策略相结合，用于从自由文本放射学报告中自动提取压缩性骨折信息，并在无需模型训练的情况下输出结构化数据。研究对 2024 年 2 月 20 日至 2 月 22 日期间在医疗企业中获取的脊柱 CT 检查的时间样本（637 份匿名报告，年龄 18-102 岁，47% 为女性）进行了性能测试。手动生成了真实标注（ground truth annotations），并将其与三个模型（Llama 3.1 70B、Llama 3.1 8B 和 Vicuna 13B）在九种不同提示配置下的性能进行了比较，共进行了 27 次模型 / 提示实验。当为 Llama 3.1 70B 模型提供放射科医生撰写的背景时，其获得了最高的 F1 分数（0.91），当背景由另一个 LLM 撰写时，结果相似（0.86）。在这些提示中添加少样本示例（few-shot examples）对 F1 测量值的影响各不相同（分别为 0.89 和 0.84）。观察到了可比的 ROC-AUC 和 PR-AUC 性能。本研究表明，开放权重的 LLM 使用基于提示的技术，在从自由文本放射学报告中提取压缩性骨折结果方面表现出色，无需为模型训练提供大量手动标注的示例。
