超越全量微调：提升下游心电图基础模型适配的泛化能力

《Scientific Reports》：Beyond full fine-tuning: towards enhanced generalizability in downstream ECG foundation model adaptation

　　

摘要

基础模型（FMs）是在大量数据集上预训练的大规模模型，旨在学习通用表示，以便通过微调适应多种任务。基础模型在心电图（ECG）分析领域日益受到重视，这得益于它们能够有效处理数据较少的下游任务。然而，适应策略的选择往往被低估，通常仅依赖于全量微调，忽视了由于模型复杂度高和数据集规模有限而导致的过拟合风险。在本研究中，我们提出选择性参数高效微调（PEFT）作为全量微调的替代方案，以提高模型泛化能力并减少过拟合。具体来说，我们在 Self-DANA 基础模型上通过受控协议考察了部分微调、BitFit、LayerNorm 调优和线性探针。我们评估了微调后模型在未见的域内和域外数据上的泛化能力，以及在不同下游任务和数据集特征下的表现。我们证明，当为给定场景选择合适的选择性 PEFT 策略时，它不仅能在资源效率上优于全量微调，还能增强模型泛化能力，尤其是在域外数据上。