《PLOS Digital Health》：Data distribution impacts the performance and generalisability of contrastive learning-based foundation models of electrocardiograms
编辑推荐：
对比学习是一种被广泛采用的自监督预训练（self-supervised pretraining, SSL）策略，但其对队列组成的依赖仍未被充分探索。研究人员提出并预训练了基于增强患者心电图的对比学习（Contrasting by Augmented Patie
对比学习是一种被广泛采用的自监督预训练（self-supervised pretraining, SSL）策略，但其对队列组成的依赖仍未被充分探索。研究人员提出并预训练了基于增强患者心电图的对比学习（Contrasting by Augmented Patient Electrocardiograms, CAPE）基础模型，在来自北美、南美、亚洲三大洲不同人群的四个队列（n=5,203,269）上进行预训练，并系统性评估队列人口统计学、健康状态与群体多样性如何影响下游预测任务表现，其中下游评估还纳入了来自另一大洲（欧洲）的两个额外队列。研究人员发现，下游性能取决于预训练队列的分布属性，包括人口统计学与健康状态。此外，尽管使用多中心、人口学多样的队列进行预训练可提升同分布（in-distribution）准确率，却会因编码队列特异性伪影（cohort-specific artifacts）而降低对比学习方法的域外（out-of-distribution, OOD）泛化能力。为此，研究人员提出同分布批次（In-Distribution Batch, IDB）策略，在预训练期间保持队列内一致性，抑制对虚假队列特异性特征的学习，转而促进队列内临床有意义的可变性。该策略提升了域外鲁棒性，下游标签预测性能提升9–40%。本研究为构建更具临床可部署性与泛化性的基础模型提供了预训练策略层面的洞见。
研究背景与动机：心电图（electrocardiogram, ECG）作为无创、可及性高的心脏电活动记录手段，其临床效用长期受限于专家解读瓶颈。基础模型借助大规模数据学习通用表征，可降低对任务级标注的依赖；其中自监督学习（SSL）尤以对比学习（contrastive learning）在医学信号中表现突出。然而，现有研究对“预训练队列的分布构成如何塑造所学表征、进而影响跨人群泛化”缺乏系统性证据。已有报告显示，计算机视觉与中等规模ECG研究中的对比学习对数据组成敏感，且深度学习模型普遍面临域外（OOD）退化问题——ECG信号中健康者波形同质性强，而病理状态引入异质偏移，叠加年龄、种族、设备、机构流程等队列异质性，使跨源测试性能显著下降。视网膜与语言模型基础模型亦报告了类似跨人群迁移失败与人口学偏倚。因此，研究人员在《PLOS Digital Health》发表本研究，旨在以CAPE框架量化预训练队列人口学/健康度/多中心多样性对ECG基础模型表征质量与OOD泛化的作用，并提出IDB训练策略以抑制队列伪影。
主要技术方法：研究人员构建CAPE模型，采用患者内对比学习（patient contrastive learning, PCL）范式，以同一患者不同时间点ECG为正对、批内其余为患者间负对，骨干网络为四层ResNet，投影头后接InfoNCE损失（温度τ=0.1）。预训练队列含BIDMC（美国二级医疗）、CODE（巴西）、SHZS（中国上海中山医院）、VUMC（美国范德堡）合计超520万条ECG，组成BCSV联合集；下游评估另含英国UKB志愿者队列与德国PTB-XL开放数据集。信号统一取导联I、II、V1–V6，经0.5–100 Hz带通与工频陷波、重采样至400 Hz，截为2800×8的7秒输入。标准预训练随机跨队列采样批次；IDB变体（CAPE-Z）则限定每批次仅来自单队列。下游以冻结骨干提取256维嵌入，接两层MLP预测头，在固定1万训练/2千验证/2千测试划分下完成年龄回归（MAE）与性别分类（AUROC），并以LVEF<40%与5年死亡率作临床标签外推验证；表征分离程度用t-SNE可视化与最大均值差异（Maximum Mean Discrepancy, MMD）量化。
研究结果：
队列（Cohorts）：预训练使用BIDMC、CODE、SHZS、VUMC四队列（BCSV合并5,203,269条ECG），下游标签队列增补UKB与PTB-XL。各队列在年龄、性别比、5年死亡率、就诊层级（二级医疗vs人群志愿）上差异显著（p<0.0001），构成分布异质基线。
训练（Training）：两阶段流程——对比预训练获通用ECG嵌入，继以MLP线性探测式微调预测头；年龄/性别标签全队列可用，LVEF与死亡率作异质临床标签补充。固定样本量拆分消除规模偏倚。
预训练队列构成影响性能（Composition of pretraining cohort affects performance）：五组CAPE模型（单队列B/C/S/V与多中心X）在25种“预训练×标签队列”组合下评估。CAPE-X同分布平均最优（年龄MAE 7.86，性别AUROC 0.955，Kruskal–Wallis p≤0.0002）；单队列中二级医疗源BIDMC、VUMC优于健康人群源CODE、SHZS，证实健康度多样性与每患者ECG数（而非仅患者数）共同决定表征增益。
多队列对比预训练引发域外退化（Out-of-distribution performance decline in multi-cohort contrastive pretraining）：以BIDMC训MLP-XB后外推至CODE/SHZS，CAPE-X年龄MAE飙至24.00（CODE）与14.47（SHZS），性别AUROC跌至0.598与0.652，证明多源随机批次使模型学到可跨批区分的队列捷径。
同分布批次预训练提升泛化（Pretraining with in-distribution batches improves generalisation）：t-SNE显示CAPE-X嵌入按队列聚团（MMD=0.398），其中CODE内按记录设备分离（MMD=0.873）远强于BIDMC内种族分离（MMD=0.007），说明设备伪影主导捷径；CAPE-Z（IDB）嵌入跨队列重叠（MMD=0.029）。同BIDMC训练头下，CAPE-Z在CODE年龄MAE降至7.93、性别AUROC 0.927，SHZS年龄MAE 7.24、AUROC 0.935（均p<0.001）；LVEF<40%在SHZS由0.581升至0.965，5年死亡率在CODE由0.650升至0.819。IDB不因性别分层而产生亚组偏倚，增益源自队列级分布鲁棒性。
讨论浓缩：研究人员指出，这是首次系统解构预训练队列分布对ECG对比表征与下游OOD的作用。多队列合并虽抬升同分布精度，却因批内多分布共存诱使模型利用设备/预处理伪影作负对判别捷径，损害跨中心迁移；IDB通过批内同分布约束阻断该机制，使模型聚焦组内生理可变性。标签队列分布本身也扭曲评测——UKB因年龄窄峰（64–66岁）与低死亡率虚高年龄MAE，故跨研究比较须固定拆分。该发现可外推至掩码自编码等其它SSL范式。局限在于未拆析种族/社经/设备各自贡献，且部分队列为私有数据。
结论（Conclusions）翻译：本研究强调对比学习在临床应用中泛化的核心地位。模型跨异质人群的表现关键取决于预训练数据构成；人口学与临床异质性显著塑造所学表征与下游性能。多队列对比预训练提升同分布表现但削弱本基础模型域外泛化。研究人员提出同分布批次（ID batch）方法以有效缓解该退化。结果指明：谨慎的队列设计与评测协议是构建可靠跨人群基础模型、推进医疗机器学习系统的前提。
