CWPS：用于知识传输的高效信道级参数共享方法

《IEEE Transactions on Image Processing》：CWPS: Efficient Channel-Wise Parameter Sharing for Knowledge Transfer

知识迁移旨在将现有知识应用于不同任务或新数据，现有方法如精细调优、层级参数共享和任务特定适配器仅提供粗粒度共享方案，难以高效搜索共享参数。本文提出通道级参数共享（CWPS），通过细化共享参数粒度至神经元级别，显式组合模型神经元实现知识传递，并设计高效搜索策略降低计算成本。实验表明，CWPS在增量学习和多任务学习场景中表现优异，参数精度比达到SOTA，且适用于含线性/卷积层的任意网络结构。

　　

摘要：

知识迁移旨在将现有知识应用于不同的任务或新数据，在多领域和多任务学习中具有广泛的应用。这项任务的关键在于快速识别用于知识共享的细粒度对象，并高效地传输知识。目前的方法，如微调、逐层参数共享和任务特定适配器，仅提供粗粒度的共享解决方案，难以有效搜索共享参数，从而影响了知识迁移的性能和效率。为了解决这些问题，我们提出了通道级参数共享（Channel-Wise Parameter Sharing，简称CWPS），这是一种新型的细粒度参数共享方法，具有高效、全面且即插即用的特点。对于粗粒度问题，我们首先通过将共享参数的粒度从层级别细化到神经元级别来实现细粒度参数共享。通过模型神经元的显式组合，可以利用从前一个任务中学到的知识。此外，我们采用了一种有效的搜索策略来最小化计算成本，简化了共享权重的选择过程。我们的CWPS还具备很强的可组合性和泛化能力，理论上可以应用于任何由线性和卷积层组成的网络。我们在增量学习和多任务学习场景中引入了多个数据集。我们的方法在各种架构上实现了最佳的精度与参数比率性能，证明了其高效性和多功能性。