通过反馈稳定的表示复用实现信息高效神经网络的多输入学习

《Knowledge-Based Systems》：Multi-Input Learning for information-efficient neural networks via feedback-stabilized representation reuse

　　

•提出了一种多输入学习框架，用于信息高效的神经网络。
•显式反馈路径使得在不增加额外参数的情况下实现跨单位时间的表示重用成为可能。
•基于小增益的分析为反馈稳定学习提供了稳定性条件。

引言
现代机器学习模型已成为智能系统的基本组成部分，包括文本理解、视觉识别、多模态推理、决策支持和数据驱动预测 [1], [2]。随着深度神经网络的快速发展，日益复杂的架构（如卷积神经网络 (CNNs)、Transformers 和基于自注意力的模型）在广泛的任务中取得了强大的性能 [3], [4], [5]。然而，这些模型的改进往往伴随着更大的模型规模、更高的计算成本以及对大规模训练数据的更强依赖 [6], [7]。这为机器学习方法学提出了一个重要问题：神经网络如何在不过度增加参数数量或依赖更多数据的情况下提高信息利用率 [8], [9], [10]。

大多数现有神经网络组织为主要的正向计算过程。给定一个输入批次，模型逐层提取表示并产生相应的输出 [11], [12]。虽然历史信息可能在优化后隐含地反映在学到的参数中，但每个单位数据的正向计算通常被视为单输入过程 [13], [14]。在本文中，我们将这种传统公式称为单输入学习 (SIL)。在 SIL 下，每个单位数据主要通过当前的正向路径进行处理，而在不同单位时间产生的表示在当前的计算中不会被显式重用。这种设计简单有效，但可能会限制信息效率，特别是在低资源场景或不同单位时间之间的可重用表示可以提供额外上下文信息的任务中。

几种现有技术试图改善神经网络中的信息流。残差连接通过在层之间引入快捷路径来缓解退化问题 [4], [15]，残差学习也被广泛采用在基于 CNN 的恢复模型中以提高特征表示和性能 [16], [17], [18]。循环神经网络和记忆增强模型重用历史状态以捕获时间依赖关系 [19], [20]。反馈对齐进一步研究了在优化过程中学习信号如何能通过固定或非对称的反馈连接传播 [21]。自注意力通过建模当前输入内的成对依赖关系来改善表示学习 [5], [22]，而反馈和记忆机制也被引入基于 Transformer 的架构中以增强长上下文表示传播 [23]。这些研究为改善信息流提供了有用的机制，而本文考虑的问题集中在通用神经学习中的跨单位时间表示重用 [24], [25]。残差连接主要重用同一正向计算内的特征，循环模型通常设计用于自然有序序列，反馈对齐关注优化信号，自注意力通常计算当前输入内的相关性 [26], [27], [28]。对于通用神经学习，仍然缺乏一种统一的方法论，在保持架构通用性和稳定性的同时，显式重用批量索引单位时间之间的表示 [29], [30]。

为了解决这个问题，本文提出了多输入学习 (MIL)，一种用于信息高效神经表示重用的反馈稳定深度学习方法。与 SIL 不同，MIL 定义了批量索引单位时间，并在批次顺序粒度上构建单位数据。在此公式下，当前计算允许接收不仅当前输入表示，还包括之前单位时间的选定历史表示。这形成了一个多输入表示构建过程。关键思想是引入显式反馈路径，在当前的单位时间内存储和重用历史表示。这样，模型可以利用跨单位时间信息而不引入额外的可学习参数。

与传统深度学习不同，后者中每个单位数据主要基于其当前输入进行处理，MIL 通过反馈路径显式重用历史表示。这使得在不引入额外可学习参数的情况下实现更高效的**信息重用**。提出的 MIL 框架提供了一种通用公式，可以在不同的神经网络中实例化。对于基于 CNN 的模型，反馈路径重用历史特征表示并将其与当前正向表示结合。对于基于自注意力的 Transformers，MIL 可以通过存储选定的注意力相关表示（如历史键矩阵）并引入到当前的注意力计算中来实现。这些实例化表明 MIL 是一个通用学习框架，而非针对特定任务的修改。它可以应用于基于卷积和基于注意力的架构，这使其适用于涉及不同数据模态和模型骨干的智能系统。

显式反馈表示重用的一个核心挑战是稳定性。历史表示引入显式增益约束以维持稳定的表示传播。为了解决这个问题，本文为提出的 MIL 框架提供了基于小增益的稳定性分析 [31], [32]。小增益定理的作用是提供一个条件，在该条件下反馈路径不会以无界的方式放大历史表示。因此，它作为约束反馈强度和分析表示重用稳定性的理论工具，而不是直接保证准确率提高。具体来说，反馈表示重用过程被公式化为正向路径和反馈路径之间的输入 - 输出映射。在适当的增益条件下，我们证明基于 MIL 的表示重用过程可以满足有界输入有界输出 (BIBO) 稳定性。该分析为反馈稳定的表示重用提供了理论支持，并阐明了 MIL 可以安全地纳入历史信息条件。

提出的框架通过理论和实证分析进行评估。从理论角度来看，MIL 为批量索引单位时间、多输入表示构建、显式反馈路径和基于小增益的稳定性提供了统一公式。与现有的表示重用机制（如残差连接、循环模型和记忆增强网络）相比，MIL 专注于在不引入额外可学习参数的情况下，显式重用批量索引单位时间之间的历史表示。从方法角度来看，MIL 提供了一种与架构无关的方式，在不增加可学习参数数量的情况下提高信息效率。从算法角度来看，我们在基于 CNN 的网络和基于自注意力的 Transformers 中提出了具体实现。这使得 MIL 对于低资源学习、文本和图像分类、多模态学习以及需要轻量级和稳定表示重用的智能系统潜在有用。实验在文本分类和通用神经学习任务上进行，以评估低资源性能、信息效率和反馈稳定性。消融研究进一步分析了反馈强度、历史顺序和表示重用策略的影响。

本文的主要贡献总结如下：
•我们从 SIL 和 MIL 的角度公式化了学习过程，并定义了批量索引单位时间和单位数据作为跨单位时间表示重用的基本分析单位。这种公式为分析神经网络中的信息持久性提供了通用基础，而不依赖于自然时间序列。
•我们提出了 MIL 作为一种反馈稳定的机器学习方法，用于信息高效的神经表示重用。通过构建显式反馈路径，MIL 将之前单位时间的历史表示纳入当前计算，而不引入额外的可学习参数。
•我们为提出的反馈表示重用过程提供了基于小增益的稳定性分析。在适当的增益条件下，基于 MIL 的计算可以满足 BIBO 稳定性，这为稳定的表示重用提供了理论支持。
•我们在 CNNs 和基于自注意力的 Transformers 中实例化了 MIL，表明提出的框架是与架构无关的，可以应用于基于卷积和基于注意力的模型。

本文其余部分组织如下。第 2 节回顾了关于表示重用、反馈机制、高效神经学习和稳定性分析的相关研究。第 3 节介绍了初步概念，包括 SIL、MIL、批量索引单位时间和单位数据。第 4 节提出了 MIL 框架，显式反馈路径，稳定性分析以及在 CNNs 和 Transformers 中的实例化。第 5 节报告了实验结果和消融研究。第 6 节总结本文。

章节摘要
相关工作
反馈相关机制已被广泛探索，以改善神经网络中的信息流和表示重用 [33], [34], [35]。残差学习引入快捷连接以缓解深度网络的训练困难，并已成为现代 CNN 的基本设计 [4]。反馈对齐和直接反馈对齐进一步表明学习信号可以通过非对称或固定反馈连接传播，为神经中的反馈提供了替代视角。

SIL 和 MIL 公式化
本节介绍了 SIL 和 MIL 的基本公式。目的是阐明传统正向学习过程与提出的多输入表示构建过程之间的区别。批量索引单位时间和单位数据的正式定义将在下一小节中给出。
设 ut 表示在单位时间 t 处理的单位数据，Fθ(?) 表示由 θ 参数化的神经映射。在传统 SIL 中，单位时间 t 的表示计算如下...

提出的 MIL 框架概述
本节介绍了提出的 MIL 框架。MIL 的目的是通过引入显式反馈路径用于跨单位时间表示重用来扩展传统的正向学习过程。MIL 允许当前计算通过显式反馈路径纳入之前单位时间产生的历史表示。这样，模型可以在保持原始神经架构和监督学习的**同时提高信息利用率**。

实验
本节从四个视角评估提出的 MIL 框架。首先，我们在文本分类基准上将 MIL 与传统 SIL 设置进行比较，以检查固定训练预算下的信息高效神经学习。其次，我们在基于 CNN 和基于 Transformer 的架构上进行图像分类实验，以验证 MIL 在不同神经网络中的通用性。第三，我们评估 MIL 在低资源训练设置下的行为，其中仅...

结论
本文提出了 MIL，一种用于信息高效神经表示重用的反馈稳定框架。通过定义批量索引单位时间和单位数据，MIL 提供了描述神经网络中跨单位时间信息持久性的统一公式。提出的框架引入显式反馈路径，将历史表示纳入当前计算，而不添加可学习参数。
MIL 在基于 CNN 的网络和基于自注意力的 Transformer 中进行了实例化...

CRediT 作者贡献声明
Zhang Zeyu：撰写 - 原稿，方法论，形式化分析，概念化，撰写 - 审阅与编辑。Qiu Zhiyu：验证，方法论，软件，可视化。Chen Kaige：数据管理，调查，资源，软件。Li Hongran：监督，项目管理，可视化。Todo Yuki：监督，项目管理。

利益冲突声明
作者声明他们没有已知的竞争经济利益或个人关系，这些关系可能会影响本文报道的工作。

Zhang Zeyu|Qiu Zhiyu|Chen Kaige|Li Hongran|Todo Yuki