CMR-LLaMA：一种经过微调的大型语言模型，用于识别医学影像报告（CMR）中的发现及其相关属性

《Journal of Cardiovascular Magnetic Resonance》：CMR-LLaMA: a Finetuned Large Language Model for Identifying Findings and Associated Attributes in CMR Reports

CMR-LLaMA模型通过微调LLaMA-3.3-70B模型，从CMR报告印象部分自动提取31种心血管条件的提及、确定性、严重性及位置等属性。在1778份训练数据和397份内部测试集中，模型平均F1达0.85，外部验证集平均F1为0.78。结果表明模型在多数条件上表现优异，尤其在二尖瓣和主动脉瓣病变中F1达0.99。但LGE模式识别效果较差（F1=0.08）。该模型可自动化处理CMR数据，提升临床决策支持和研究效率，未来需结合SNOMED-CT等标准术语以增强可扩展性。

　　心脏磁共振成像（CMR）在评估多种心血管疾病中发挥着重要作用。然而，由于CMR报告中包含大量自由文本信息，从中提取关键数据仍然是一个挑战。目前，许多研究集中在特定疾病或有限的条件上，缺乏全面且能够捕捉自然语言中细微差别的能力。因此，本研究的目标是开发一种广义的命名实体识别模型，用于从CMR报告中自动提取多种常见心血管疾病及其相关属性，如确定性、严重程度、部位和亚型，以支持临床决策支持工具的自动化和临床研究的回顾性分析。

在方法部分，研究团队使用了一种基于Transformer架构的大型语言模型，经过微调后能够识别34种心血管疾病及其相关特征。模型的训练数据来自2,175份CMR报告，其中一部分用于内部验证，另一部分用于外部验证。为了提高模型的准确性，研究团队采用了一种投票机制来解决不同标注者之间的差异。如果存在分歧，优先选择严重性更高的属性。例如，在描述主动脉扩张时，如果同时存在“ectatic”和“aneurysmal”两个属性，会优先选择“aneurysmal”。

在评估过程中，研究团队采用了F1分数作为主要指标，以衡量模型在识别31种心血管疾病及其属性方面的性能。F1分数能够平衡精确率和召回率，适用于类别不平衡的数据集。此外，研究团队还计算了不同属性的微平均F1分数，以评估模型在识别确定性、严重程度、部位和模式方面的表现。结果显示，模型在识别心血管疾病及其属性方面表现出色，尤其是在主动脉瓣反流和右心室扩张等疾病上。然而，在某些疾病如心肌梗死和左心室非凝集性方面，模型的性能相对较弱。

外部验证结果显示，模型在外部数据集上的表现略低于内部数据集，但仍然保持了较高的准确率。例如，在外部验证中，模型对31种心血管疾病中29种的平均F1分数为0.78，而对确定性和严重性的平均F1分数分别为0.97和0.96。尽管如此，模型在大多数疾病上的表现仍然良好，尤其是在左心室纤维化和非凝集性方面，其表现明显优于其他模型。此外，研究团队还发现，模型在识别左心室晚期钆增强模式方面存在困难，这可能与标注者之间的分歧有关，因为这种模式的描述在临床实践中存在较大的主观性。

在讨论部分，研究团队强调了模型在临床实践中的潜在应用。CMR-LLaMA不仅能够提高数据提取的效率，还能帮助标准化医疗记录，从而支持风险模型的自动化，减少医生的认知负担并优化工作流程。此外，该模型还能增强CMR研究在决策支持、运营管理和科研中的价值。通过将模型应用于大规模队列，可以加速不同研究和医疗机构之间的数据收集，为多中心试验和注册提供支持。同时，模型的输出数据还可以用于计算机视觉研究，为后续分析提供准确的标注。

尽管该模型具有广泛的适用性，但仍存在一些局限性。首先，当前模型未能使用标准化的医学术语来描述影像学发现，这可能会影响不同系统之间的数据交换。其次，虽然模型在两个不同医疗中心进行了验证，但仍然需要在更多医疗机构中进行测试，以确保其通用性。最后，标注过程是由医学学生和一名住院医师完成的，而未由具有更高资历的专家进行人工审核，这可能导致一定的标注偏差。

综上所述，本研究开发了一种能够从CMR报告中识别多种心血管疾病及其相关属性的大型语言模型，即CMR-LLaMA。该模型在大多数疾病上的表现优异，为自动化数据提取和临床研究提供了重要的支持。然而，模型仍需进一步优化，以提高其在特定疾病和复杂属性上的识别能力。此外，标准化术语的使用和在更多医疗中心的验证将有助于提升模型的实用性和通用性。通过应用该模型，可以有效提高医疗数据的处理效率，从而改善医疗质量和患者预后。