可解释的联合空间表征方法用于心电图心律失常分类 尤利娅·奥尼卡（Iulia Onic?）和 尤利安·B·乔科伊乌（Iulian B. Ciocoiu）

《Machine Learning and Knowledge Extraction》：Explainable Combined Spatial Representations for ECG Arrhythmia Classification Iulia Onic? and Iulian B. Ciocoiu

　　摘要：本文探讨了使用一种新的输入融合策略对心电图（ECG）心律失常进行分类的方法，该策略结合了ECG时间序列记录的空间表示。研究考虑了四种不同的时间序列到图像的转换方法，分别是经典频谱图、Gramian角场（GAF）、递归图（RP）和S-变换（ST）。通过对来自单导联ECG记录的2×2组合图像进行分类，使用了自定义深度学习架构和ResNet-50深度学习架构。最后，采用了几种不同的可解释性算法来识别输入图像中主要影响分类决策的相关区域。在MIT-BIH和Chapman–Shaoxing心律失常数据集上进行的实验显示，该方法在准确性（99%）、F1分数（98.6%）和AUC（0.999）方面与更复杂的方法具有可比的性能。

1. 引言
根据最近的研究，在1990年至2023年期间，缺血性心脏病和中风始终是全球死亡率的主要原因[1]。虽然在COVID-19疫情期间，它的排名暂时上升到了首位，但很快又降到了较低的位置，缺血性心脏病、中风、慢性阻塞性肺疾病（COPD）、下呼吸道感染和新生儿疾病重新占据了前列位置。尽管如此，这两种疾病的年龄标准化死亡率从1990年的每10万人161.4例下降到了2023年的每10万人99.8例[1]。
心脏心律失常是心血管疾病中最常见且临床后果最严重的表现形式之一，对治疗决策和死亡率降低有着巨大影响。心电图（ECG）是检测和分类心律失常的主要非侵入性诊断工具，旨在识别可能区分不同心律失常的细微形态特征。ECG分类面临着信号处理、生理学和计算方面的挑战，这些挑战共同阻碍了稳健、通用且可临床应用的系统的开发。需要应对的难点包括：(a) ECG信号的非平稳性导致时空变化较大，使得在不同患者群体中提取稳定、具有区分性的特征变得复杂；(b) 同一类型的心律失常在波形、幅度和持续时间上存在显著的个体间和个体内差异，这需要大规模且具有代表性的数据集；(c) 需要建模连续ECG片段之间以及/或多个记录导联之间的复杂时空依赖关系；(d) 即使是最先进的分类器在现实噪声条件下也可能表现不佳。
传统上，心脏病专家对ECG信号的手动解读耗时较长，受观察者间差异的影响较大，并且容易出错，尤其是在高工作量的临床环境中[2]。相比之下，机器学习和深度学习模型提供了一种潜在的自动化、准确且可扩展的ECG信号分析解决方案，可以与人类专家解读相媲美，引起了大量的研究兴趣和临床转化努力[3,4,5]。卷积神经网络（CNNs）在这一领域占据主导地位，而循环神经网络（RNNs）、长短期记忆（LSTM）网络和混合架构在时间建模方面也显示出重要性。这些模型在基准数据集上实现了超过99%的准确率[4]。
然而，基于AI的ECG分类系统的临床应用面临着重大障碍。深度学习模型的黑盒性质引发了对可靠性和可解释性的担忧，而这在高风险医疗决策中至关重要。通用可解释AI（XAI）技术——特别是SHAP、LIME和Grad-CAM[6]——已被用来增强临床信任度，同时还有针对ECG的特定适应措施，如K-GradCam和B-LIME[2,7]，以解决时间依赖性和扰动不稳定性问题。此外，与数据不平衡、在不同患者群体中的有限泛化能力、计算需求以及对外部验证的依赖性相关的挑战继续限制了实际应用[8]。
一种有趣的研究方法是首先将研究的ECG数据序列转换为各种2D图像表示，然后使用深度学习模型对这些图像进行进一步分类。这种方法已成功应用于异常检测和生物识别等时间序列分析[9]。对于ECG记录，该方法可以初步考虑对（预处理后的）信号进行单搏或多次搏动的分割，对应于一个（通常是修改后的LII）或几个导联。实际的转换方法可以从较宽的选择范围内进行选择，其中四种方法将在下一节中描述。
为了提高分类性能，提出了各种输入和/或输出融合的方式。通常可以选择(a) 结合使用特定空间表示的不同分类模型的结果，或者(b) 结合使用不同类型图像作为输入的同一模型的输出。本文提出了一种新的方法，将单导联ECG记录的四种不同2D表示合并成2×2的全局图像，作为多个深度学习模型的输入。提出这一方法的理由有两个：(a) 不同的时间序列到图像转换可能揭示ECG波形的独特特征，因此它们的组合会比单独使用更有信息量；(b) 应用于组合图像的可解释AI算法可以识别出特定于心律失常类型的感兴趣区域，同时还能根据XAI分析揭示的重要性对这些空间表示进行层次排序。
以下部分描述了所选择的时间序列到图像的转换方法，展示了单独和合并后的心律失常特定表示，并基于两个广泛使用的心电图心律失常基准数据集的广泛实验结果提供了分类性能指标。讨论部分包括了使用四种不同方法的可解释性分析以及与现有解决方案的比较分析，最后还概述了进一步研究的建议。

2. 背景和相关工作
卷积神经网络（CNNs）已成为ECG心律失常分类的主流架构，因为它们能够自动从原始ECG信号中学习出具有区分性的特征，减少了手动特征工程和领域特定预处理的需要[4,10]。1D和2D CNN模型在识别ECG信号中的形态模式（如QRS复合波、P波和T波）方面表现出色，这些模式对心律失常诊断至关重要。
多项研究证明了针对ECG信号定制的1D/2D CNN的有效性。围绕1D/2D卷积层、批量归一化、ReLU激活函数、最大池化和带有softmax激活函数的密集层构建了各种自定义架构，实现了超过99%的准确率[11,12]。也采用了改进版的现有CNN架构进行ECG分析。例如，Atwa等人引入了一种适用于ECG信号和人口统计数据的双分支CNN架构，以及一个针对多分支输入修改的VGG16模型，在二分类任务中实现了高达97.78%的准确率，在多类任务中实现了79.7%的准确率[13]。这些调整显示了CNN架构在适应信号数据和辅助临床信息方面的灵活性。
虽然CNN在提取空间和形态特征方面表现出色，但循环神经网络（RNNs）和长短期记忆（LSTM）网络被用于捕捉ECG信号中的时间依赖性和逐搏模式。这些架构特别适用于建模心脏节律的顺序性质以及检测在长时间窗口内表现出的心律失常。大多数解决方案都是基于混合CNN+(双向)LSTM模型构建的，实现了高达99.6%的准确率[10]。
将深度学习模型部署在资源受限的边缘设备、可穿戴设备和嵌入式系统中，促进了针对内存占用、计算效率和能耗优化的轻量级架构的发展[14,15]。这些模型旨在实现在移动和现场护理环境中的实时心律失常监测，而不牺牲诊断准确性，解决了高性能但计算密集型模型与临床和消费者健康应用中的持续实时监测实际需求之间的关键差距。例如，Baig等人提出了两种新的轻量级1D CNN，ArrhythmiNet V1和V2，受到MobileNet深度可分离卷积设计的启发[14]。这些模型在MIT-BIH心律失常数据集上实现了99%（V1）和98%（V2）的分类准确率，同时保持了非常低的内存占用。Silva等人的系统综述确定了多种嵌入式可行性优化策略，包括剪枝技术（L1范数剪枝以移除影响较小的权重）、量化技术（将位宽从32位浮点数减少到8位整数）以及轻量级网络架构，如MobileNet、SqueezeNet和TinyML[15]。具体实现展示了显著的效率：Ribeiro等人实现了99.6%的准确率，推理时间为7.65毫秒，能耗为5.85毫焦耳，模型大小为93 KB，非常适合低功耗边缘设备[15]。Mao等人实现了97.36%的准确率，学习在芯片上进行，能耗为每搏动0.3微焦耳，模型大小为8 KB，非常适合可穿戴设备[15]。
FPGA加速和具有通道级注意力机制（CAM）的尖峰神经网络（SNNs）是实现嵌入式平台速度和能效的额外策略[15]。Xing等人实现了92.07%的准确率，患者间验证，运行时间为1.37毫秒，每搏动能耗为346.33微焦耳，证明了其适用于嵌入式平台[15]。
除了主流的CNN、RNN和混合架构外，还探索了一系列新兴方法来解决特定限制并利用新的计算范式。基于注意力的网络、蒸馏技术、图神经网络和Transformer架构代表了未来研究的有希望的方向[16,17]。基于注意力的网络通过使模型能够关注ECG信号的显著时间区域来提高检测准确性，进一步增强了结果的可解释性[18,19]。图神经网络为建模ECG导联和时间段之间的复杂关系提供了潜力，而胶囊网络旨在保持信号模式中的空间层次结构和部分-整体关系。Transformer架构在自然语言处理和计算机视觉领域取得了革命性进展，现在也开始被用于ECG分析[4]。许多混合模型首先使用CNN提取局部形态特征，然后将这些特征作为令牌输入Transformer编码器以捕获长距离依赖性，从而实现了高于99%的非常高的准确率[20,21]。针对长期监测的模型采用逐搏令牌化或患者适应性令牌来限制序列长度并集中注意力。自注意力机制可能在捕获ECG信号中的长距离依赖性和多尺度时间模式方面具有优势。
尽管这些新兴方法显示出了潜力，但它们在当前文献中的普及程度仍低于CNN和RNN，其临床验证和实际应用仍处于早期阶段。

3. ECG信号的空间表示
时间序列到图像的转换将时间依赖性编码为空间、几何或基于频率的替代形式，从而便于分析、可视化和学习相关特征。这些转换可以保留全局特征，强调局部时间变化，或捕获数据中的相似性和重复关系。在文献中提出的各种方法中，我们选择了四种已被证明对基于ECG的生物识别有效的选项[9]，分别是：经典频谱图、Gramian角场（GAF）、递归图（RP）和S-变换（ST）。下面对这些方法的描述紧密遵循[9]，包括来自两个基准心律失常数据集的单搏和多次搏动ECG记录的示例。最后，我们将单独的2D表示合并成一个2×2的全局图像，以便进一步由CNN模型进行分类。

3.1. 时频频谱图
经典时频频谱图是使用25毫秒滑动段和12毫秒的重叠部分，以及定义在256个点上的周期性Hanning窗口从MLII单导联ECG记录生成的。

3.2. Gramian角场
为了实现Gramian角场（GAF）转换[22]，我们首先将时间序列重新缩放到[-1, 1]区间，然后使用角度余弦作为相位信息将结果信号表示为极坐标，并将时间编码为距离原点的距离（N是一个缩放常数）：
(1)
我们最终定义Gramian角场如下：
(2)
相位值的三角和反映了给定时间序列内各个时间间隔的时间相关性。缩放参数N设置为ECG样本长度。

3.3. 递归图
递归图（RP）[23]基于混沌理论，是一种高效的时间序列视觉检查工具。该方法旨在通过其递归的二维表示来高效探索与动态非线性系统相关的高维相空间。因此，我们可以构建以下RP矩阵：
(3)
其中m定义了嵌入维度集，N是状态总数，ε是一个实数值阈值，θ(.)是阶跃函数（状态向量s(.)是通过适当的延迟对给定时间序列进行下采样获得的）。RP矩阵可能揭示出返回到先前状态的轨迹，同时显示全局特征（同质性、周期性）和局部模式，如孤立点、对角线、水平线或垂直线[9]。参数ε定义了围绕给定相空间向量的邻域半径，用于计算重复点[23]，并根据归一化时间序列的最大相空间直径设置为0.05。嵌入维度m = 11，如[9]中所述。3.4. S-变换短时傅里叶变换（STFT）已被广泛用作揭示信号频谱成分时间动态的工具，这是经典傅里叶变换（FT）无法捕捉到的。使用固定宽度的分析窗口会限制该方法的效率，特别是对于非平稳数据；因此，提出了连续小波变换（CWT）作为解决这一限制的方法。CWT引入了时频空间的频率依赖性分辨率，能够更好地识别研究中信号在低频和高频下的显著变化。由于标准CWT无法提供对生物医学信号处理至关重要的精确相位信息，因此引入了S-变换（ST）作为CWT的相位校正版本[24]：(4) 通过选择一个具有频率依赖性宽度的特定母小波函数。通过使用σ参数对频率的更复杂依赖性，可以在时频平面上实现更灵活的分辨率调整。ST在时频平面上定义，与使用时间-尺度轴对的标准CWT不同，这使得频率信息更易于解释。此外，ST提供了绝对参考的相位信息和频率独立的幅度响应[24]。关于ST与FT、STFT和CWT的详细比较分析已在文献[9]中提出。上述从时间序列到图像的转换示例分别显示在图1和图2中，对应于从MIT-BIH [25]和Chapman–Shaoxing [26]心律失常数据集中选取的单拍和多拍片段。每种表示形式都归一化到[-1, 1]范围，并调整大小为227 × 227像素。图1. MIT-BIH数据集ECG记录的图像表示（从上到下：单拍ECG片段（1.25秒，z分数归一化）、频谱图、GAF、RP和ST）。从左到右的列：正常心跳（类别N）、室上性异位心跳（类别S）、室性异位心跳（类别V）、融合心跳（类别V）、未分类心跳（类别Q）。图2. SC数据集ECG记录的图像表示（从上到下：多拍ECG片段（10秒，z分数归一化）、频谱图、GAF、RP和ST）。从左到右的列：心房颤动（AFIB）、室上性心动过速（SVT）、窦性心动过缓（SB）、窦性心律（SR）。将各个表示合并成一个全局2 × 2图像的结果如图3所示。同样，将合并后的结果调整大小为227 × 227像素，以满足CNN模型的输入要求。图3. 使用ST、GAF、RP和频谱图图像的ECG记录的联合2D表示：(a) MIT-BIH；(b) Chapman–Shaoxing数据集。4. 提出的方法提出的方法的框图如图4所示。它建议使用合并的空间表示作为各种CNN分类模型的输入，同时通过XAI分析进一步解释结果。输入图像的尺寸应适当设置，以适应所研究的CNN模型施加的限制。当使用多个分类器时，也可以通过组合模型的个别决策来执行输出融合（例如，根据其准确性按类别导向的概率对每个模型的响应进行加权）。该图建议使用可解释的XAI算法来识别主要影响分类决策的输入图像中的区域。当使用组合的图像表示作为输入时，这些工具可以实现各种时间序列到图像转换的层次排序，揭示最具信息量的类别特定2D映射。图4. 提出的方法的框图。如图5所示，使用了三种自定义CNN模型和Resnet-50模型。模型1是一个简单的经典系列型架构，包括标准2D卷积、批量归一化、ReLU、池化和全连接层。模型2受到[27]的启发，在全连接分类模块之前包括残差型连接和1D卷积。模型3基于标准2D层构建，但添加了残差连接。最后，所有模型都包含了dropout层。我们使用了预训练的ImageNet Resnet-50模型，冻结了前121层，调整了输出层的神经元数量，并使用不同的ECG心律失常数据集对更新后的架构进行了微调。图5. 自定义CNN架构。5. 实验方案和结果使用两个基准ECG数据源进行了广泛的计算机模拟，即MIT-BIH [25]和Chapman–Shaoxing [26]心律失常数据集。接下来的部分描述了记录的特征、用于补偿类别不平衡的重采样/增强方法以及主要性能指标。将输入和输出融合策略的效率与使用单独的2D表示和单个模型的效率进行了比较。考虑了五种可解释性算法来评估表示的相对重要性并识别类别特定的感兴趣区域。5.1. ECG心律失常数据集MIT-BIH心律失常数据集[25]包含从波士顿Beth Israel医院的47名成人受试者收集的48个半小时动态ECG记录，监测两个修改后的肢体导联，采样频率为360 Hz。该数据集提供了专家级的心跳级注释，分为24个子类别，根据医疗仪器促进协会（AAMI）标准进一步划分为五种类型：正常（N）、室上性异位心跳（SVEB）、室性异位心跳（VEB）、融合心跳（F）和未知心跳（Q）。典型的预处理步骤包括单拍分割，然后是心跳长度和幅度归一化、异常值去除和R峰对齐。由于原始数据包含异常值（长度与平均R-R时间间隔显著偏离的片段），并且分割程序可能会产生来自连续心跳的混合样本，因此文献中提出了几个新版本的数据集来改进原始记录的质量。我们使用了[28]中介绍的数据集（使用记录中的Lead II），该数据集纠正了先前解决方案的一些缺点。该方法首先计算R-R间隔，并消除长度超出R-R段分布第25和75百分位的片段。清理后的数据集被分成10秒的窗口，当前窗口内的R-R间隔的平均值被计算为当前窗口内的平均心跳大小。最终生成了一组新的心跳，每个心跳都具有平均长度并且围绕其自身的R峰中心，然后通过零填充产生一个共同的全局心跳大小。五个类别的数据分布如表1所示。表1. 原始数据集和MIT-BIH增强数据集的样本分布。Chapman–Shaoxing (SC) [26]心律失常数据集包含大约10,000个10秒长的12导联ECG信号记录，这些记录是在1980年至2018年间在一个医疗机构收集的，包含11种常见心律，采样率为500 Hz。其体积、持续时间和人群多样性使其成为广泛用于研究目的的基准数据集。数据被分为七种心律失常类型：窦性心动过缓（SB）、窦性心律（SR）、心房颤动（AFIB）、窦性心动过速（ST）、心房扑动（AF）、窦性不规则（SI）和室上性心动过速（SVT）。许多论文仅报告了四种主要类型（SB、SR、AFIB和GSVT）的分类性能，这是通过合并一些原始心律获得的[4]。这种方法还具有类别分布几乎平衡的额外优势，如表2所示。表2. Chapman–Shaoxing数据集的样本分布。5.2. 数据预处理根据[28]中描述的MIT-BIH心律失常数据集的清理版本是通过两步程序生成的，首先消除长度与平均R-R间隔显著不同的异常值片段，然后构建（零填充、共同大小）以R为中心的片段，如前一节所述。得到的序列从360 Hz下采样到120 Hz，并根据z分数进行归一化，其中μ和σ是向量x的平均值和标准差。采用了一系列去噪技术来提高Chapman–Shaoxing心律失常数据集记录的质量。这些技术包括巴特沃斯低通滤波、局部多项式回归平滑器（LOESS）以去除基线漂移，以及非局部均值（NLM）技术以减少残余噪声[26]。根据[26]，巴特沃斯滤波器的通带为50 Hz，阻带为60 Hz，平滑器使用加权最小二乘法。与MIT-BIH数据集非常相似，也应用了z分数归一化，而没有改变原始采样率。对于MIT-BIH数据集，需要考虑的一个关键点是缓解类别不平衡的策略。考虑了两种限制正常（N）类别样本数量的降采样解决方案和增加其他四个类别样本数量的增强技术。降采样选项包括随机重采样（容易产生偏差）、聚类程序（然后仅保留结果聚类的中心点或最接近这些中心的原始样本）以及基于信息理论的更复杂方法[29,30]。我们考虑了在[30]中介绍的算法，鉴于与其他选项的比较性能分析。根据当前实践，我们采用了（安全级别的）SMOTE算法[31]作为表示不足类别的增强技术，即室上性异位心跳（SVEB）、室性异位心跳（VEB）和融合心跳（F）。表1给出了每个类别的数据分布，显示了分布的平衡以及生成数据对整个数据集维度的贡献。5.3. 实验结果沿着三种情景设置进行了广泛的实验。首先，我们考虑了第4节中描述的每种CNN模型所应用的四种不同的2D表示作为输入。其次，我们使用了组合的2 × 2图像和相同的单个模型。最后，我们通过以下方式评估了输入/输出融合策略的效率：(a) 结合给定2D表示的各种CNN模型的输出；(b) 当各种2D表示作为输入时，结合给定CNN模型的输出。最终结果是根据训练集上各个模型的准确性计算的概率的加权总和，权重是静态分配的，并定义为各个模型在训练集上的准确性与它们的总和之间的比率：(5) 在上述方程中，outk表示样本k的预测标签，C是类别索引，wi是给定模型的权重，是样本k属于类别C的概率，由模型i计算得出。在表3、表4、表5、表6、表7和表8中，我们展示了每种先前描述的情景的比较分类性能。性能指标包括准确性（Acc）、精确度（P）、召回率（R）、F1分数、曲线下面积（AUC）和Cohen’s Kappa系数[32]（衡量真实和预测的单分类器输出之间的一致性，校正了随机一致性）。所有实验都使用10折交叉验证，性能指标以平均值±标准差报告。表3. 使用不同2D表示的MIT-BIH数据集的分类性能。表4. 使用组合2D表示（通过合并四种不同2D表示生成的2 × 2图像）的MIT-BIH数据集的分类性能。表5. 使用输入融合（对于每个模型，结合给定特征的预测）的MIT-BIH数据集的分类性能。表6. 使用不同2D表示的Chapman–Shaoxing数据集的分类性能。表7. 使用组合2D表示（通过合并四种不同2D表示生成的2 × 2图像）的Chapman–Shaoxing数据集的分类性能。表8. 使用输入融合（对于每个模型，结合给定特征的预测）的Chapman–Shaoxing数据集的分类性能。所有实验的训练设置相同：输入图像大小为227 × 227像素，Adam优化器，初始学习率为0.0005，L2正则化参数为0.0005，批量大小为64，全连接层的丢弃率为50%，焦点损失，以及根据验证集上的最小损失选择最佳模型参数。5.4.可解释性分析
在自动医疗决策领域，鉴于当前深度学习模型的“黑箱”特性，这是一个关键挑战。揭示特定结果和性能指标的根本原因有助于提高各种基于AI的解决方案的可信度和广泛接受度，从而促进人工系统与人类专家之间的协同合作。在心电图（ECG）信号分析中，已经使用了几种通用的人工可解释性（XAI）技术，包括SHAP、LIME、Grad-CAM及其变体[6,13]，以及针对ECG的特殊适应方法如K-GradCam和B-LIME[2,7]，以增强临床信任。我们考虑了五种不同的XAI方法，即标准grad-CAM、grad-CAM++[33]、score-CAM[34]、LIME和基于遮挡的显著性图，用于识别研究中的空间表示中的特定类别感兴趣区域。标准grad-CAM算法通过计算最后一个卷积层激活图的线性加权组合来确定输入图像中的重要区域。grad-CAM++和score-CAM通过根据类别置信度的梯度（grad-CAM++）和通道级别的置信度分数增加（score-CAM）来改进上述线性组合的定义。遮挡图会遮盖输入图像的某些部分，并评估其对分类性能的影响。

图6和图7显示了两个数据集中各个类别之间的显著差异，而进一步的分析表明，在同一心律失常类别内，不同受试者的结果具有鲁棒性。
图6：MIT-BIH记录的可解释性分析。从上到下：正常心跳（类别N）、室上性早搏（类别S）、室性早搏（类别V）、融合心跳（类别V）、未分类心跳（类别Q）。从左到右的列分别是：ECG信号（1.25秒，z分数标准化）；组合2D表示；grad-CAM；grad-CAM++；score-CAM；LIME；遮挡图。
图7：Chapman–Shaoxing记录的可解释性分析。从上到下：心房颤动（AFIB）、室上性心动过速（SVT）、窦性心动过缓（SB）、窦性心律（SR）。从左到右的列分别是：ECG信号（10秒，z分数标准化）；组合2D表示；grad-CAM；grad-CAM++；score-CAM；LIME；遮挡图。

6. 讨论与结论
表3、表4、表5、表6、表7和表8中报告的分类指标显示，在MIT-BIH心律失常数据集上，准确率、精确率和召回率的最高性能分别为99%，AUC为0.999。对于Chapman–Shaoxing数据集，性能略低，准确率为95%，AUC为0.991。当使用单独的2D表示作为输入时（表3和表6），性能相当，GAF和ST的结果略好。在MIT-BIH数据集上，使用组合的2×2空间表示可以略微提高性能，而在Chapman–Shaoxing数据集上则没有观察到明显的积极效果（表4和表7）。在所有情况下，通过采用输出融合策略获得了最佳结果，即结合每个输入图像类型的四种分类模型的输出。具体来说，最终结果是由各个模型生成的概率的加权和计算得出的，权重定义为每个模型的准确率与所有模型准确率之和的比率。表5和表8中呈现的结果是指另一种输入融合策略，其中对于每个模型，我们使用了不同的特征进行预测组合。对于MIT-BIH数据集，性能与组合2×2输入情况下相当；而对于Chapman–Shaoxing数据集，准确率从93.5%提高到95%，AUC从0.988提高到0.991。

使用2×2组合2D表示进行可解释性分析表明，频谱图是最不重要的选项，而其他三种方法具有相关性，显示出类别特定的相对重要性。值得注意的是，如第5.4节以及图6和图7所描述的，将2D变换合并可能会在表示之间的边界引入人为（高频）模式，尽管XAI分析显示这些边界并未被任何使用的方法视为显著。
图6和图7中的可解释性分析表明，重要区域相当不规则，因此很难在这些区域与特定的ECG段之间建立准确的对应关系。这一问题由于生成GAF和RP图像的映射不可逆性而更加复杂。尽管如此，为了便于检查结果，我们在图8中提供了典型ECG样本的各个部分与2D表示相关区域之间的对应关系。

图8：P、QRS和T段（前三行）以及完整（最后一行）典型ECG样本的2D表示。从左到右的列分别是：ECG样本、频谱图、GAF、RP、ST。此外，在图9中，我们展示了影响Chapman–Shaoxing（多搏动）记录中四种类别分类决策的相关区域。结果对应于应用于ST方法生成的图像表示的grad-CAM算法，因为这种时频变换能够更好地定位感兴趣的段。

图9：由grad-CAM算法在Chapman–Shaoxing数据集提取的样本上识别的分类决策相关段。模拟是在配备Intel Core i9-3.50 GHz CPU、128 GB RAM和NVIDIA GeForce RTX 3090（24 GB）显卡的Windows 10工作站上执行的。生成FFT/GAF/RP/ST表示的总计算成本分别为25.5/26.6/27.5/27毫秒。所有四种模型的推理时间均在2.8–3.3毫秒范围内，支持实时操作。模型的复杂性分别为452,500、460万、240万和2550万参数。

由于文献中描述的各种方法在每个心律失常类别的样本数量、预处理步骤、ECG导联数量以及用于解决类别不平衡的具体策略方面存在很大差异，因此很难进行有效的比较分析。表9和表10中呈现的分类结果显示，所提出的方法与现有解决方案相比表现良好，尽管许多表现更好的方法使用了更复杂的模型（例如Transformer、混合架构）、多导联记录或采用增加了大量合成样本的增强技术。

表9：MIT-BIH数据集的比较性能分析。
表10：Chapman–Shaoxing数据集的比较性能分析。
对于MIT-BIH数据集，表3、表4和表5中的结果指的是患者内研究，因为数据是按条记录分开的。患者间分析同样重要，未来将按照[49,50]中描述的路线进行考虑。未来的工作将考虑使用（可能的、多头）注意力机制来增强所提出的组合空间表示。结合1D和2D CNN模型生成的特征的融合方法也值得研究。扩展时间序列到图像的表示类型也可能有效，尽管将过多的单独2D变换合并为单一的全局固定大小图像可能会掩盖重要细节。最后，将各种空间表示作为不同的输入通道共同应用也是一个值得探索的有效途径。