多编码单解码神经网络架构中的前向协作后向学习

《Neurocomputing》：The forward-cooperation-backward (FCB) learning in a multi-encoding uni-decoding neural network architecture

　　普拉孙·杜塔|库斯塔布·戈什|拉贾特·K·德印度安得拉邦阿姆拉瓦蒂市SRM大学计算机科学与工程系，邮编522502

摘要
训练神经网络最常用的技术是反向传播。对于某些学习任务，也会使用前向-前向技术。人类学习是前向学习、协作与反向参考的结合。人们会按层次理解概念，同时会产生诸多疑问。传统上，解决疑问的方式是与同伴讨论，即协作。不过仍有一些疑问会存在，这些疑问表现为所学知识与原始文献之间的差异，可通过修正来缩小这种差异。本文在深度学习框架中引入了前向-协作-反向学习策略，以此模拟人类的学习方式。首先设计了一种名为MEUD的新型深度神经网络架构作为基础模型，随后逐步改进为MEUD-FF-Coop，从而实现FCB策略。为体现协作作用，还引入了一种特殊的横向突触连接。通过定理证明了协作在促进更平滑学习方面的有效性。在五个数据集的三个不同维度上，对比MEUD-FF-Coop与其三个中间模型以及五种其他技术的降维性能，证明了该模型的优势。此外还对其与基于重建和非反向传播的模型的性能进行了比较。这些实验表明，MEUD-FF-Coop在低秩嵌入及后续分析任务中能够有效保留数据的细节特征。同时还进行了关于收敛性和计算时间的研究，得出了MEUD-FF-Coop及其中间模型的计算复杂度。并通过在含噪声数据集和文本数据集上的测试，评估了该模型的稳健性与通用性。

引言
神经网络已成为人工智能的重要组成部分。神经网络的关键在于其学习机制，这一机制使网络能够自主学习模式、适应新数据，并生成高效的表示形式。学习过程是根据网络的输入输出来估算权重参数，以实现特定目标。训练神经网络的主要方法是反向传播。反向传播运用了微分学中的链式法则，有时也被用来指代整个学习过程。它能够逐层高效地计算损失函数对网络各层权重的梯度，从最底层开始反向推进，从而避免重复计算链式法则中的中间项。传统上，神经网络通过前向和后向传递来学习，并逐层存储误差导数，但这种方法在生物学上并不合理。因此，辛顿受玻尔兹曼机[10]和噪声对比估计[8]的影响，提出了前向-前向（FF）算法[9]，这是一种贪婪的多层学习方法。该算法摒弃了全网络的反向传播，仅通过两轮分层前向传递来实现学习。FF算法处理两种类型的数据：正样本和负样本。正样本是实际观测到的数据，而负样本则是模型为优化表示而生成的。第一轮前向传递是对正样本的处理，第二轮则是对负样本的处理。正样本处理会调整权重，以提高每层隐藏层中“优度项”的值；负样本处理则会调整权重，降低该值。对于每一层隐藏层，优度项是其所有神经元输出值的平方和。FF算法的目标是在每一层隐藏层中准确区分正样本和负样本。分层训练/学习旨在使正样本的优度项远高于设定阈值，而负样本的优度项则远低于该阈值。在当前隐藏层区分出正负样本后，会对该层进行归一化处理，以便下一层继续处理。层归一化可确保下一层不受当前层预测结果的影响。最后的隐藏层与输出层相连，用于最终预测。研究人员试图结合反向传播和前向-前向算法的优点，开发出更高效的学习技术。奥罗比亚和马利[17]将FF算法与预测编码相结合，构建了一个强大的随机神经系统。唐开发的集成前向-前向算法[22]利用多个局部损失函数的设计来分解训练目标，无需在整个网络结构中传播梯度，而是仅在1–3层的局部隐藏单元中调整权重。洛伯伯姆等人[16]在FF网络训练过程中引入了层间通信，增强了层与层之间的有效交流，从而提升了性能。通过模型预测控制[19]，FF算法与反向传播相结合，实现了对动态系统的反馈控制。吉安帕奥洛等人[6]利用局部反向传播的思想创建了混合网络，从而在需要时避免了反向计算。托萨托等人[23]证明了FF算法在模拟大脑皮层学习机制方面优于反向传播。还有研究将FF算法引入卷积神经网络[20]中。李等人[14]开发了视觉前向-前向神经网络（VFF），旨在利用FF网络提升CNN的性能。赵等人[28]则提出了一种改进版的FF算法，训练时无需生成额外的负样本。近期，受神经形态学和生物启发式的学习框架的发展，人们开始探索替代传统基于反向传播的训练方法。加德等人开发的基于FF算法的脉冲神经网络[5]无需进行反向误差传播，可实现局部、分层学习。研究人员还致力于开发面向硬件的实现方案，以提高能效和可扩展性。朱等人设计了基于铁电隧穿结的突触，用于提高SNN的效率[29]。鲍等人[1]研究了基于忆阻器的霍普菲尔德神经网络中的动态行为，发现其具有可控的多吸引子共存特性。于等人开发了一种具有突发放电行为的忆阻式霍普菲尔德神经网络，并展示了其在安全图像加密中的应用以及相应的硬件实现方案[27]。在本文中，我们提出了一种新的学习技术，称为前向-协作-反向（FCB）学习。FCB学习在理念上借鉴了人类学习新概念时的方式，即结合前向-前向学习、协作和反向传播。该学习方式首先通过前向学习将输入数据的内容依次传递到学习系统的各个组成部分以进行训练，然后在某个阶段通过协作在算法的各个组件之间交换信息，最后通过反向传递让学习系统修正参数，从而更好地理解数据内容。在本研究中，我们将神经网络视为学习系统。为了将FCB策略融入神经学习系统，我们设计了几种新型神经网络模型，并对其架构进行了逐步改进。我们首先开发多编码单解码（MEUD）架构，接着加入前向-前向学习策略，形成MEUD-FF架构；再引入协作概念，得到MEUD-Coop架构；最后整合三者，形成MEUD-FF-Coop架构。我们还通过定理证明了协作在获得更平滑的学习结果方面的作用。通过将MEUD-FF-Coop与其逐步发展的前期版本——MEUD、MEUD-FF和MEUD-Coop进行对比，验证了该模型的有效性。同时，还将MEUD-FF-Coop的性能与标准的深度自编码器（AE）、去噪自编码器（DAE）、变分自编码器（VAE）、稀疏自编码器（SAE）和收缩自编码器（CAE）进行了比较。我们对上述各种技术得到的降维数据进行了全面评估，通过可信度分数证明了该技术能够在原始空间和投影空间之间保持数据的细粒度关联。此外，还使用多种常见的分类和聚类算法，从多个指标出发，对在降维数据上进行的分类和聚类等后续分析任务进行了评估。同时通过实验研究了收敛性，计算时间分析也证明了MEUD-FF-Coop的高效性。此外，还将FCB学习策略与三种非反向传播技术——前向-前向（FF）算法、预测前向-前向（PFF）算法以及基于前向-前向算法的无反向传播脉冲神经网络（SNN-FF）——进行了效率对比。所有实验都在图像数据集上开展。此外，还在注入噪声的数据上测试了MEUD-FF-Coop的性能，以验证其稳定性。通过在文本数据集上的应用，进一步证明了该模型的通用性。同时，也对MEUD-FF-Coop及其相关架构的计算复杂度进行了分析并予以呈现。本文的其余部分分为三个部分，以便全面阐述所提出的方法。第二部分阐述了通过MEUD-FF-Coop神经系统实现的前向-协作-反向（FCB）学习策略的哲学内涵和概念框架，详细介绍了该策略的开发动机、架构设计以及学习机制。第三部分介绍了研究中使用的数据集，并系统说明了实验设置，包括设计方法、实施流程、评估标准，以及对各类模型的详细对比分析。第五部分总结了本文的主要研究成果。

章节节选
前向-协作-反向（FCB）学习：相关神经网络的发展
本节阐述了前向-协作-反向（FCB）学习方式背后的哲学思想，这一理念源自人类学习新知识的方式。随后，该学习方式被纳入一种用于降维的新型神经网络框架中。文中还描述了这种神经网络模型是如何通过一系列其他模型逐步发展而来的，同时也介绍了这些模型的学习策略。

实验、结果与分析
研究表明，模仿人类学习方式的FCB学习策略在新型MEUD-FF-Coop模型上表现出优异的降维性能，优于其他同类模型。从三个角度评估了MEUD-FF-Coop的性能：首先，将其与基于重建的模型进行对比；其次，与非反向传播的模型进行对比；最后，评估其稳定性。

讨论
与任何新的深度学习框架一样，FCB学习策略也存在一些局限性，仍有改进空间。该算法表现良好，学习机制也颇具潜力，但某些设计选择和假设可能会影响其在某些场景下的整体效果。认识到这些局限性有助于更准确地评估该框架，也为未来的研究和改进奠定基础。

结论
人们开发学习算法是为了让机器具备类似人类的学习能力。自从出现以来，反向传播学习方法在神经网络的发展中发挥了关键作用。像前向-前向学习这样的新技术也试图设计出更具生物学合理性的学习机制，但这些技术仍无法完全模仿人类的学习方式。在本文中，我们开发了一种以人为核心的学习方法。

未引用参考文献
[2], [7], [12], [15]

CRediT作者贡献说明
普拉孙·杜塔：写作——审稿与编辑、写作——初稿撰写、验证、方法论、研究、正式分析。库斯塔布·戈什：写作——审稿与编辑、写作——初稿撰写、验证、研究、正式分析。拉贾特·K·德：指导监督、正式分析、概念构思。

利益冲突声明
作者声明不存在可能影响本文研究结果的已知财务利益或个人关系。普拉孙·杜塔于2006年在印度加尔各答的加尔各答大学获得数学学士学位，2009年和2012年分别在印度加尔各答的西孟加拉技术大学（现名为MAKAUT）获得计算机应用硕士学位和计算机科学与工程硕士学位，2025年在印度加尔各答的印度统计研究所获得博士学位。他目前是SRM大学的助理教授。