ALPSB：基于可塑-稳定双分支的自适应学习基因框架及其在高效迁移学习中的应用

《Pattern Recognition》：ALPSB: Adaptive Learngene with Plastic and Stable Branches

本文提出自适应学习基因框架ALPSE（Adaptive Learngene with Plastic and Stable Branches），通过双分支架构动态筛选稳定神经连接作为学习基因（learngene），突破传统迁移学习（TL）和元学习（ML）的全模型迁移局限，在持续学习（CL）中实现知识的高效积累与跨任务传递，为生物启发式人工智能提供新范式。

　　

章节精选

相关研究

本节重新审视了与学习基因（Learngene）框架存在部分重叠特征的四大经典学习范式：迁移学习（Transfer Learning）、元学习（Meta Learning）、提示工程（Prompt Engineering）和持续学习（Continual Learning）。我们将它们与学习基因进行对比以避免概念混淆。

迁移学习（TL）在现实应用中，源数据集与目标数据集间可能存在领域差异。在各种TL技术中，"预训练后微调"策略广泛应用于视觉领域...

ALPSB框架

图3展示了所提出的ALPSB流程，包含两个阶段：积累（Accumulating）与继承（Inheriting）。积累阶段的目标是从祖先模型中提取学习基因。随后，提取的学习基因被继承用于初始化后代模型，以实现下游任务的高效微调。本节首先介绍相关符号，然后详细描述如何提取和继承学习基因。

实验分析

本节我们评估ALPSB框架的学习基因性能。我们展示了实验设置并全面分析了结果，包括学习基因的优势以及广泛的消融研究。

结论

ALPSB框架通过将选定的神经连接视为双分支模型内的学习基因，实现了跨任务知识的积累和传递，促进了快速适应和学习。学习基因选择器在持续学习过程中增强了对可迁移知识的适应性和保留能力。

在卷积神经网络和视觉Transformer架构上，基于CIFAR-100、ImageNet-Subset以及多样化的跨领域基准（如iNat-2019...）进行的广泛实验表明...