基于汇总统计的心电图异常分类：患者层面验证与过程导向评估

《Annals of Noninvasive Electrocardiology》：Electrocardiogram Abnormality Classification From Summary Statistics With Patient-Level Validation and Process-Focused Evaluation

　　

背景：机器学习（Machine Learning, ML）在临床医学中的应用容易受到数据泄露的影响，特别是来自诊断后特征的时间性泄露和不恰当划分导致的患者层面泄露，这会损害心电图（Electrocardiogram, ECG）异常检测系统的可靠性。本研究通过患者层面数据分割和跨多个分类场景的系统评估来解决这些漏洞。方法：研究人员分析了来自2180名独特患者的4419个观测的ECG数据，采用随机欠采样提升（Random Under-Sampling Boosting, RUSBoost）算法。定义了三个二分类场景：场景1（异常vs.正常，排除临界状态）、场景2（异常+临界vs.正常）和场景3（异常vs.正常+临界）。采用患者层面分层划分（60:20:20）以防止信息泄露。使用准确率、灵敏度、特异度、F1分数、学习曲线和精确率-召回率曲线对所有划分进行评估。结果：场景1表现出最佳的泛化能力，测试准确率为70.79%，灵敏度为60.30%，特异度为86.50%，F1分数为0.712，且跨划分呈单调下降（73.98%→71.50%→70.79%）。场景2的测试准确率为65.26%，下降幅度更大（6.17个百分点），反映了当临界病例与异常结果归为一组时难度增加。场景3表现出有问题的非单调模式（71.84%→67.71%→69.36%），且过早收敛，尽管类别接近平衡（1.07:1比例），但表明存在根本性的泛化挑战。结论：仅凭汇总指标不足以支持临床部署决策。医学人工智能评估必须检查跨划分的学习动态、泛化稳定性和精确率-召回率校准。评估单调下降、收敛特性和校准稳定性的过程导向标准对于可靠的心电图异常检测部署至关重要。

**论文解读：基于汇总统计的心电图异常分类——患者层面验证与过程导向评估**

**研究背景与问题**

心电图（Electrocardiogram, ECG）是心脏诊断评估的基石，通过非侵入性评估心脏电活动来指导治疗决策。机器学习（Machine Learning, ML）在心电图解读中的应用已展现出巨大潜力，多项研究显示计算模型在特定分类任务中能达到甚至超越人类解读者的诊断准确率。然而，ML在临床医学中的应用容易受到数据泄露的严重影响，包括时间性泄露（例如，将诊断后特征作为预测因子）和患者层面泄露（同一患者的多次测量被分配到不同数据集）。现有研究主要集中于基于原始波形数据的深度学习模型，但许多医疗机构存储的是ECG的汇总统计量（如心率、PR间期、QRS时限等）和临床衍生测量值，而非连续波形记录。这种存储模式导致研究方法与临床现实之间存在脱节，限制了基于原始波形的模型在仅有参数化数据环境中的部署。此外，先前研究常忽视数据泄露问题，导致模型性能被高估，且缺乏对学习动态和泛化稳定性的系统评估。因此，本研究旨在利用汇总统计量进行ECG异常分类，通过患者层面数据分割防止泄露，并在多个分类场景下评估模型的行为，以推动更可靠的过程导向评估标准。

**研究人员开展的研究与结论**

研究人员从匿名患者记录中获取了包含4466个观测和17个变量的ECG数据集，经过预处理（删除管理标识符和诊断文本字段，去除缺失值）后，最终分析了4419个观测（来自2180名独特患者）。基于RUSBoost算法，研究人员定义了三个二分类场景：场景1（异常vs.正常，排除临界状态，n=3661）、场景2（异常+临界vs.正常，n=4308）和场景3（异常vs.正常+临界，n=4308）。采用患者层面分层划分（60:20:20）以防止泄露。模型评估使用准确率、灵敏度、特异度、F1分数、学习曲线和精确率-召回率曲线。结论显示：场景1表现出最佳的泛化性能，测试准确率为70.79%，灵敏度60.30%，特异度86.50%，F1分数0.712，且指标呈单调下降（73.98%→71.50%→70.79%）。场景2准确率65.26%，下降6.17个百分点，但保持单调性。场景3出现非单调模式（71.84%→67.71%→69.36%），且学习曲线过早收敛，表明泛化存在根本性问题。研究人员强调，仅凭汇总指标不足以支持临床部署，必须报告学习曲线、跨划分的性能演变、精确率-召回率曲线以及单调下降模式。该论文发表在《Annals of Noninvasive Electrocardiology》。

**主要关键技术方法**

本研究使用的主要关键技术方法包括：RUSBoost算法（一种结合随机欠采样和提升的集成学习方法，专门用于不平衡分类）；患者层面分层数据划分（60:20:20比例，按独特患者分配，防止信息泄露）；特征工程（构建包含14个变量的特征矩阵，包括连续变量如心室率、心房率、P-R间期、QRS时限、Q-T间期、QTC计算（Bazett公式）、电轴测量（P轴、R轴、T轴）以及患者体重，分类变量如性别、糖尿病状态和吸烟史）；缺失值处理（完全案例删除，共去除47个观测）；质量控制和插补（在患者层面划分后，仅基于训练集计算统计量进行均值插补，防止泄露）。样本队列来源：来自一个独立临床来源的匿名患者记录，包含4419个观测，对应2180名独特患者。

**研究结果**

**3.1 性能指标**

RUSBoost分类器在三个场景和数据集划分上的性能如下：

- **3.1.1 异常 vs. 正常，排除“临界”**：场景1（n=3661）表现出单调指标下降。准确率：训练73.98%/验证71.50%/测试70.79%。灵敏度：64.71%/60.75%/60.30%。特异度：88.56%/87.90%/86.50%。F1分数：0.753/0.720/0.712。通过混淆矩阵和条形图（图6）证实，该场景具有最优的灵敏度-特异度平衡（测试：60.30%/86.50%）。

- **3.1.2 异常+临界 vs. 正常**：场景2（n=4308）表现出最陡峭的下降。准确率：71.43%/65.97%/65.26%（总下降6.17个百分点）。灵敏度：63.34%/60.28%/59.09%。特异度：87.47%/77.05%/78.17%（验证到测试非单调回升）。F1分数：0.747/0.701/0.697。通过混淆矩阵（图4）可见假阴性增加，反映异质性阳性类的分类难度。

- **3.1.3 异常 vs. 正常+临界**：场景3（n=4308）表现出有问题的非单调模式。准确率：71.84%/67.71%/69.36%（先降后升）。灵敏度：59.49%/54.89%/57.84%。特异度：84.79%/81.75%/81.99%。F1分数：0.684/0.640/0.664。所有指标均显示验证下降后测试部分回升，偏离预期单调模式。通过混淆矩阵（图5）可见高真阴性但假阳性增加。

**3.2 学习动态**

- **3.2.1 异常 vs. 正常，排除“临界”**：学习曲线（图9a）显示训练准确率从约71%升至74%，验证准确率稳定在70%-71%，具有适度3-4个百分点差距。精确率-召回率曲线（图9b）显示三个划分紧密重叠，召回率低于0.70时精确率保持0.90以上。

- **3.2.2 异常+临界 vs. 正常**：学习曲线（图10a）显示训练准确率从约67%升至71.5%，验证准确率在64%-66%振荡，需要约50个周期达到平台，差距扩大至5-6个百分点。精确率-召回率曲线（图10b）显示验证和测试曲线系统性下移，反映泛化挑战。

- **3.2.3 异常 vs. 正常+临界**：学习曲线（图11a）显示训练和验证准确率在10-15个周期内急剧上升后完全平坦，差距约4个百分点。精确率-召回率曲线（图11b）显示训练曲线保持较高精确率，而验证和测试曲线在较低值处重叠，表明泛化能力不足。

**3.3 校准分析**

模型校准通过期望校准误差（Expected Calibration Error, ECE）评估，使用10个分箱，并采用Platt缩放（logistic回归）和等渗回归进行事后校准（基于验证集拟合，测试集评估）。场景1未校准ECE最高（0.0799），Platt缩放降低55.8%至0.0353。场景2基线校准较好（未校准ECE 0.0295），Platt缩放降至0.0162（降45.1%），等渗回归略增。场景3未校准ECE 0.0387，Platt缩放降至0.0191（降50.6%），等渗回归达到最低0.0167（降56.8%）。校准后原始0.5阈值分类性能不变，但校准概率支持更合理的阈值选择。

**讨论与结论**

**讨论**部分总结了三个场景的泛化模式：场景1的单调下降和紧致精确率-召回率曲线重叠表明稳健泛化；场景2的陡峭下降和分离曲线反映异质性阳性类的真实难度；场景3的非单调模式、过早学习平台和分离曲线构成最成问题的方法学轮廓，尽管表面上有平衡的类别分布。校准分析显示性能与校准质量呈反比：场景1分类最佳但未校准ECE最高，可能源于RUSBoost的欠采样偏差；场景2和3虽分类较差但基线校准更好。Platt缩放是首选校准方法，因其一致改进且抗过拟合。非单调模式（如场景3验证准确率低于测试）破坏了泛化估计的可靠性，导致部署信心不足。**局限性**包括：单次三向划分无法完全表征采样方差；复合患者标识符的近似性；排除“既不是”的ECG记录限制了泛化性；仅分析汇总统计特征而非原始波形。

**结论**部分翻译：本研究使用RUSBoost和系统性患者层面数据分割，评估了三个分类场景下的ECG异常检测。研究结果强调了一个关键的方法学要求：仅凭汇总性能指标不足以提供临床部署决策的证据。医学AI出版物、监管提交和临床部署决策应要求完整报告学习曲线、跨划分的性能演变、所有数据集的精确率-召回率曲线，以及单调下降模式的明确评估。期刊和监管评估者应拒绝仅报告测试指标而未展示稳定学习动态和适当泛化模式的提交。这种从指标导向到过程导向评估的转变，代表了医学AI方法学的必要成熟，推动该领域向适用于生命关键临床决策的综合验证标准过渡。