基于数据的多标准决策支持方法：利用社交媒体评估能源转型路径

《Expert Systems with Applications》：Data-driven multi-criteria decision support method for energy transition path assessment using social media

ECG-QA多模态框架通过LIMS-U-Net提取心电图特征并与LLM结合实现细粒度临床问答和零样本泛化。摘要：ETS-MLLM创新性地将12导联ECG信号通过多尺度U-Net编码为可融入LLM的嵌入向量，结合背景注入的提示工程实现文本与生理信号跨模态语义对齐，支持开放域心电图问答并显著优于传统分类模型。

　　

Jinning Yang|Zhile Yang|Jiajing Zhou|Chengke Wu|Yuanjun Guo

中国科学院深圳先进技术研究院，中国深圳 518055

摘要

心电图（ECG）是诊断心血管疾病（CVDs）的重要无创工具。然而，传统的基于深度学习的ECG异常检测分类模型在复杂解释、零样本泛化以及集成临床决策支持方面存在不足。大型语言模型（LLMs）的最新进展以及ECG问答（ECG-QA）任务的出现为克服这些限制提供了机会。尽管如此，由于模态差异（文本数据是离散且语义结构化的，而时间序列数据是连续的、通常带有噪声且缺乏明确的语义注释），将LLMs扩展到同时处理文本和时间序列数据仍然具有挑战性。为了解决这些问题，我们提出了ETS-MLMM，这是一种用于ECG-QA的新的文本-时间序列多模态框架。ETS-MLMM通过一个独立于导联的多尺度U-Net将12导联ECG信号编码为嵌入，将这些ECG嵌入插入包含背景知识的结构化提示的文本嵌入序列中，然后将得到的多模态输入送入LLM。通过在参数高效调整过程中联合优化ECG编码器和LLM，LLM内部学习了具有临床意义的跨模态隐式对齐，从而具备了ECG解释能力。在两个公开的ECG-QA数据集上的广泛实验表明，ETS-MLMM取得了最佳性能，能够有效回答开放式临床问题，并提供初步的治疗建议。它在资源有限的数据设置下也表现出强大的跨数据集迁移能力。在目标数据的10%上进行微调后，其性能可接近全数据训练的效果。

引言

心血管疾病（CVD）现在是全球死亡和残疾的主要原因（Di Cesare等人，2023年），而ECG仍然是最广泛使用的无创诊断工具。准确的ECG解释不仅需要识别这些微妙的波形，还需要对心脏解剖结构和导联特异性投影有深入的理解，这需要多年的临床培训。因此，计算机辅助ECG诊断变得越来越重要，现已成为临床实践中医生专业能力的不可或缺的补充。

基于卷积神经网络（CNNs）（Fukushima，1980年）和Transformer（Vaswani等人，2017年）的深度学习模型已成为ECG异常分类的主要方法，其性能超过了传统的特征工程流程（Chen等人，2022年）。然而，这些监督学习方法严重依赖于大量的标记数据。为了减轻这种依赖性，提出了两阶段学习策略：首先在大型未标记的ECG语料库上进行自我监督预训练，然后进行任务特定的微调（Del Pup等人，2023年）。尽管这种两阶段方法在资源有限和导联数量减少的情况下通常具有更强的泛化能力，但预训练目标与下游任务之间的不匹配可能会限制性能（Lester等人，2021年）。更重要的是，这些方法仍然需要更新模型参数并收集额外的标记数据以适应未见过的标签类别或新的任务类型，因此无法支持零样本泛化。研究表明，结合领域知识（Ge等人，2024年）和电子健康记录（Lalam等人，2023年）等文本信息可以提高下游任务的性能和泛化能力。然而，这通常需要为不同模态维护单独的编码器以及额外的融合模块，使得框架难以构建和维护。此外，上述传统的基于深度学习的分类模型存在两个根本性缺陷。首先，大多数现有方法侧重于粗粒度分类，分配宽泛的诊断标签，而忽略了细粒度的ECG诊断需求，包括微妙的波形变化和重叠的病理情况。这种简化降低了它们在复杂诊断场景中的实用性。其次，如图1所示，传统的诊断工作流程将每个步骤视为孤立的部分，阻碍了“诊断–推理–治疗指导”这一完整知识链的支持，从而缺乏实际临床决策所需的上下文理解。

大型语言模型（LLMs）的最新进展以及ECG问答（ECG-QA）任务的出现（Oh等人，2023年），该任务包含超过10,000个涉及300多个ECG属性的问题，为克服传统ECG分类模型的限制带来了希望。LLMs在许多自然语言处理（NLP）基准测试中展示了强大的跨任务和跨领域泛化能力，取得了最佳性能（SOTA），并在零样本和少样本场景中表现良好。然而，由于固有的模态差异（文本数据是离散且语义结构化的，而时间序列数据是连续的、通常带有噪声且缺乏明确的语义注释），将LLMs扩展到同时处理文本和时间序列数据仍然是一个重大挑战。大多数现有的时间序列多模态LLMs（TS-MLMMs）专注于预测任务（Chang等人，2025年；Jin等人，2023年；Liu等人，2024年；Sun等人，2023年），并且通常会移除原始的语言建模头部，限制了它们生成文本的能力。将LLMs扩展到ECG信号以执行生成任务仍处于早期阶段，仅有少数初步研究（Tang等人，2024年；Zhao等人，2024年）。当前的TS-MLMMs分为两类（Ye等人，2024年）：1）基于嵌入的方法，将时间序列信号编码为与LLM输入空间对齐的连续嵌入；2）将时间序列数据直接作为文本的方法，将原始数值写入提示中，以便LLMs可以将其视为文本。后者受到Transformer注意力机制的二次复杂度$O\left(N^2\right)$的限制，不适合处理长的ECG序列。基于嵌入的方法可以进一步分为隐式和显式对齐策略。隐式对齐依赖于附加在LLM之前或内部的专用模块（Jin等人，2023年；Sun等人，2023年；Wan等人，2024年）。显式对齐需要为每个时间序列输入构建描述性文本，这既费时又难以扩展（Chen等人，2022年；Zhao等人，2024年）。因此，有效地扩展LLMs以同时处理文本和生理时间序列数据仍然是一个未解决的研究问题，因为尚未建立普遍适用的解决方案。

本研究提出了ETS-MLMM，它克服了传统ECG异常分类模型的关键限制——包括无法进行零样本泛化、难以结合文本信息、粗粒度的ECG检测以及缺乏集成决策支持能力。我们的框架首先使用独立于导联的多尺度U-Net（LIMS-U-Net）将12导联ECG信号编码为信息丰富的ECG嵌入。然后构建一个包含数据集描述、任务描述、背景知识和查询问题的提示，并通过LLM分词器将其转换为文本嵌入。我们采用基于嵌入的方法，将ECG嵌入插入文本嵌入中并共同送入LLM。在参数高效调整过程中联合优化ECG编码器和LLM，使LLM具备了超出其原始文本理解能力的ECG理解能力。

本文的主要贡献总结如下：

•

通过引入多模态框架ETS-MLMM，开辟了一条新的研究途径，用于开放式、细粒度的ECG解释和集成智能临床决策支持，该框架能够扩展LLMs以同时理解文本和时间序列数据，执行开放式问题回答。

•

轻量级的ECG编码器——独立于导联的多尺度U-Net（LIMS-U-Net），能够有效提取ECG信号不同导联的多尺度时间特征，保留了细粒度的波形，并与LLMs无缝集成。

•

包含人口统计信息和记录条件的背景注入提示作为背景知识，为LLM提供了有用的诊断先验，使其能够进行更可靠的条件推理。

•

综合实验表明，通过联合优化ECG编码器和少量LLM参数，使LLM能够学习具有临床意义的跨模态语义对齐，从而有效地转移到时间序列-文本多模态。我们的模型在两个ECG-QA数据集上取得了最佳性能，支持对未见数据集的零样本迁移，并且在仅使用目标数据10%的情况下达到了全数据训练的性能。

部分片段

传统ECG异常分类

近年来，大多数最先进的ECG异常分类方法都基于CNN和Transformer架构。Nejedly等人（Nejedly等人，2021年）提出了一个基于带有多头注意力的ResNet变体的集成ECG分类模型，并使用交叉熵、任务特定损失和稀疏性损失进行了优化。Li等人（Li等人，2025年）开发了一个双域ECG分类器，使用时间同步压缩广义W变换来生成高分辨率图像。

方法

在本节中，将描述ETS-MLMM框架，如图2所示。首先，每个12导联ECG信号经过每个导联的z分数标准化预处理。然后，构建一个独立于导联的多尺度U-Net（LIMS-U-Net）来提取ECG嵌入，这些嵌入通过一个可学习的投影层映射到LLM的输入空间。接下来，构建一个包含数据集描述、任务描述、背景知识和查询问题的提示，然后将其转换为

数据集

在本研究中，ETS-MLMM框架在ECG-QA数据集（Oh等人，2023年）上进行了评估，该数据集由PTB-XL（Wagner等人，2020年）和MIMIC-IV-ECG（Gow等人，2023年）组成，选择了经过人类心脏病专家验证的ECG记录。我们关注涉及单个ECG的问题。如3.1节所述，问题被分为三种类型：验证、选择和查询。根据不同的ECG属性，设计了10,598个不同的问题。

与文献中报告的模型比较

表3总结了ETS-MLMM和三个主流基线模型的性能：以分类为导向的多模态模型、将时间序列数据视为文本的TS-MLMMs以及基于嵌入的TS-MLMMs。ETS-MLMM在两个ECG-QA数据集上都始终获得了最高的精确匹配准确率，分别在MIMIC-IV-ECG上达到57.29%，在PTB-XL上达到54.52%，具有显著的优势。

与以分类为导向的多模态模型相比，ETS-MLMM始终表现优于所有基于分类的多模态基线模型。

结论

本研究提出了ETS-MLMM，该框架旨在扩展单模态LLMs以支持ECG和文本的多模态理解，实现开放式、细粒度的ECG问答。全面的实验结果表明，我们的框架有效地增强了LLMs在ECG问答中的多模态推理能力，其性能超过了传统的基于深度学习的分类模型和其他TS-MLMMs，在两个公开可用的数据集上表现优异。ETS-MLMM还展示了有前景的零样本学习能力。

未引用的参考文献

Chen等人，2022年；Del Pup和Atzori，2023年；Moody和Mark，2001年。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文所述的工作。

致谢

本文所述的工作得到了以下机构的资助：深圳市优秀青年学者科学基金（资助编号RCYX20221008093036022）、中国科学院院长国际奖学金计划（编号2025PVA0112）、广东省科技创新青年顶尖人才特别支持计划（编号2023TQ07L745）、深圳-香港联合资助项目（A）（编号SGDX20230116092053005）以及深圳市的科学技术项目。