基于部分信息分解与冗余最大化提升霍普菲尔德网络联想记忆容量

《Nature Communications》：Redundancy maximization as a principle of associative memory learning in Hopfield networks

　　

摘要

联想记忆传统上通过霍普菲尔德网络（Hopfield networks）来建模，它能够根据部分或含噪的线索检索先前存储的模式。然而，实现这一功能所需的局部计算原理尚未完全理解。为了正式描述这类系统中的局部信息处理过程，我们采用了信息论的一个最新扩展——部分信息分解（Partial Information Decomposition）。该方法将不同输入对输出的影响分解为每个输入提供的唯一信息、输入之间的冗余信息，以及通过组合不同输入而产生的协同信息。将这一框架应用于经典霍普菲尔德网络中的单个神经元，我们发现，在未达到记忆容量的情况下，神经元活动中的信息表现为外部模式输入与内部循环输入之间的高度冗余；而协同信息和唯一信息几乎为零。当超过记忆容量后，性能会急剧下降。受到这一观察结果的启发，我们将每个神经元处的冗余最大化作为信息论上的学习目标。这种方法将网络的记忆容量提升到了1.59，相比经典霍普菲尔德网络的0.14容量提高了十倍以上，同时其性能也优于近年来最先进的霍普菲尔德网络实现方案。总体而言，这项工作确立了冗余最大化作为联想记忆的设计原则，并为基于信息论目标的新联想记忆模型开辟了路径。