探索用于心血管决策支持的多模态大型语言模型在经胸超声心动图（TTE）任务中的应用

《Journal of Cardiac Failure》：Exploring multimodal large language models on transthoracic Echocardiogram (TTE) tasks for cardiovascular decision support

心血管影像多模态大语言模型性能评估与临床应用潜力研究。通过对比三类模型（心血管专用、医疗领域、通用领域）在EF预测、视图分类、主动脉狭窄分级和心血管疾病分类四项任务上的零样本、少样本和微调策略效果，发现领域专用模型EchoClip在EF预测中MAE达10.34，显著优于通用模型。微调可将通用模型MAE从251.92降至31.93，视图分类准确率提升至63.05%。研究表明领域预训练和微调对临床应用至关重要，为AI辅助诊断提供基准数据。

　　心血管疾病（CVDs）是全球范围内导致死亡的主要原因之一，每年约有1790万人因心血管疾病死亡，占全球所有死亡的32%。这些疾病包括冠状动脉疾病、心力衰竭、心律失常等，都可能导致严重健康问题，如心脏病发作、中风，甚至死亡。心血管疾病的影响力不仅限于发病率，还会导致大量患者的生命质量和生存率下降，同时给社会带来沉重的经济负担，医疗费用和生产力损失每年达到数十亿美元。因此，早期和准确的诊断对于有效管理和治疗心血管疾病至关重要，及时的干预可以显著降低严重并发症和死亡的风险。

传统的诊断方法，如心电图（ECG）、经胸超声心动图（TTE）和诊断性冠状动脉造影，是识别各种心脏疾病的基本工具。然而，这些方法在实际应用中依赖于医疗专业人员的经验和技能来解读复杂的医学图像和文本报告，这一过程往往非常耗时。此外，由于不同操作者之间的差异性，诊断的准确性可能因操作者的经验水平而有所不同。例如，研究显示，经验较少的临床医生在解读TTE时的准确率可能低至47.5%。而且，TTE的评估过程可能非常耗时且资源密集，特别是在医疗资源有限的地区，这种延迟可能进一步影响诊断和治疗的及时性。这些局限性凸显了开发先进诊断工具的必要性，以增强人类的能力，确保对医学数据的一致和准确分析。

随着人工智能（AI）和，特别是大型语言模型（LLMs）在医疗领域的应用不断推进，这些技术为解决上述问题提供了新的可能性。大型语言模型因其对人类语言的深刻理解和生成能力，以及更大的参数规模和更复杂的训练数据，已被证明在多种自然语言处理（NLP）任务中表现出色。基于这些进展，LLMs在处理多模态数据方面也展现出强大的潜力，其强大的泛化能力、推理能力和可扩展的架构使其能够整合和解释多种输入，如文本、图像和音频。通过使用多模态转换器（如LLaVA中的线性投影器）、感知器（如BLIP-2中的Q-Former）以及工具学习（如API辅助的模态转换）等技术，LLMs能够弥合不同模态之间的差距，生成连贯的跨模态输出。例如，GPT-4o在处理多模态数据方面表现出色，能够有效整合文本和视觉信息。同样，Llama 3凭借其增强的架构和对多样化数据集的训练，在文本理解和生成方面表现出色，并展示了其在医疗应用中的潜力。

尽管这些技术取得了显著进展，但在系统评估多模态LLMs在心血管疾病应用中的表现方面仍存在显著的空白。本研究旨在填补这一空白，通过评估一系列基础模型在四个关键心血管相关任务上的表现：心脏功能评估（射血分数预测）、视图分类、主动脉瓣狭窄（AS）严重程度分类和心血管疾病分类。这些任务源自三个心血管影像数据集：EchoNet-Dynamic、TMED2和Echocardiogram（EKG）数据集。我们对来自三个领域的模型进行了基准测试：心血管专用模型（如EchoClip）、医疗领域模型（如BiomedGPT和LLaVA-Med）以及通用领域模型（如MiniCPM-V 2.6、Llama3-Vision-Alpha和Gemini-1.5 Flash）。评估包括零样本、少样本和微调三种学习策略。

我们的研究围绕以下几个关键问题展开：首先，心血管领域、医疗领域和通用领域多模态模型在关键心血管相关任务上的零样本表现有何差异？其次，少样本学习和微调策略在不同心血管诊断任务上的表现提升程度如何，这又反映出多模态模型在临床领域适应性的强弱？通过系统评估不同模型在多种学习方式下的表现，我们旨在揭示哪些模型更适合在临床环境中应用，以及它们在不同任务上的表现特点。这些发现对于医疗机构在选择和部署多模态LLMs时具有重要的指导意义，尤其是在心血管疾病诊断和治疗决策支持系统从研究走向临床实践的过程中。

在本研究中，我们设计了一套全面且灵活的评估框架，涵盖了数据收集、任务准备、模型选择和评估策略。该框架利用了三个公开的、经过临床整理的数据集——EchoNet-Dynamic、TMED2和Echocardiogram（EKG）数据集，以支持四个关键的心血管任务。每个任务都与现实世界中的诊断流程相契合，并用于评估模型的性能。通过比较零样本、少样本和微调后的结果，我们能够识别出不同模型在心血管领域任务中的相对优势和局限性。

研究结果表明，专门针对心血管领域的模型如EchoClip在零样本表现上优于通用和医疗领域的模型，尤其是在复杂的任务如射血分数预测方面。而通用领域模型在未经调整的情况下表现有限，例如MiniCPM-V 2.6在射血分数预测任务中的平均绝对误差（MAE）高达251.92，远高于心血管专用模型的10.34。然而，通过微调，通用领域模型的性能得到了显著提升，MiniCPM-V 2.6的MAE降低到了31.93，同时视图分类的准确率从20%提升到了63.05%。相比之下，少样本学习虽然带来了一定的性能提升，但总体效果不如微调。在分类任务中，EchoClip在主动脉瓣狭窄严重程度分类中取得了0.2716的F1分数，在心血管疾病分类中达到了0.4919的F1分数，但在视图分类任务中的表现则较为有限，F1分数仅为0.1457。

这些发现对于心血管疾病的诊断和治疗具有重要的实际意义。它们不仅展示了多模态LLMs在心血管医学中的潜力，还强调了领域特定预训练和模型适应在提高诊断准确性和效率方面的重要性。此外，研究结果也为医疗机构在选择合适的模型以满足其临床需求和计算资源提供了证据支持。随着心血管AI系统的不断发展，这些模型的评估和优化将有助于推动其在临床实践中的应用，提高诊断的准确性和效率，从而改善患者预后和优化医疗资源的使用。

在讨论部分，我们进一步探讨了多模态LLMs在心血管任务中的表现如何受到领域对齐、优化策略和多模态整合的影响。研究结果显示，尽管通用领域模型在某些任务上经过微调后表现良好，但它们在未经过领域特定训练的情况下仍然存在显著的性能差距。这表明，为了在临床环境中实现最佳的诊断效果，模型需要针对特定领域进行优化和调整。同时，我们也注意到，微调策略虽然能够显著提升模型性能，但其效果因任务和模型类型而异。因此，在实际应用中，需要根据具体的任务需求和模型特性来选择合适的微调方法。

此外，研究还揭示了多模态整合在提高模型性能方面的重要性。通过将文本、图像和其他模态数据进行有效整合，模型能够更全面地理解患者的病情，从而提高诊断的准确性。然而，多模态整合的过程也面临诸多挑战，例如不同模态数据之间的对齐问题、数据的多样性和复杂性以及模型在处理多模态信息时的计算需求。因此，在未来的研究中，如何优化多模态整合策略，提高模型在不同模态数据之间的协调能力，将是提升心血管疾病诊断效果的重要方向。

最后，我们对本研究的结论进行了总结，并指出其对心血管医学领域的贡献。通过系统评估多模态LLMs在四个关键心血管任务上的表现，我们不仅揭示了不同模型在不同任务上的优势和局限性，还为心血管疾病诊断和治疗决策支持系统提供了重要的基准数据。这些数据有助于医疗机构在选择和部署模型时做出更加科学和合理的决策，同时为未来的模型优化和临床应用提供了方向。随着多模态LLMs技术的不断进步，其在心血管医学中的应用前景广阔，有望为提高诊断效率和准确性提供强有力的支持。