并联神经网络中的协作模式——衡量人工神经网络仿生水平的潜在标准

《Expert Systems with Applications》：Collaboration pattern in parallel-connected neural networks – A potential criterion for measuring the bionic level of artificial neural networks

　　

摘要

通过实验我们发现，当人工神经网络并行连接并共同训练时，它们的协作模式会呈现以下特性：（i）当并行连接的神经网络被优化时，其内部各个子网络可能并未得到优化；（ii）性能较差的子网络对整个网络的贡献可能与性能较好的子网络相当；（iii）即便所有子网络都给出错误结果，该网络仍能输出正确结果。这些特性对于人工神经网络而言或许并不令人意外，但对于自然生物的感觉器官来说则较为罕见，尤其是最后一点。因此，这可以作为一个简单而有效的标准，用于区分人工神经网络与自然感觉器官，并判断哪个网络更具仿生特性。基于这一标准，我们还发现，作为激活函数时，ReLU函数比Tanh函数更能使人工神经网络具备生物合理性。

引言

当我们通过电视看到迈克尔·杰克逊时，似乎不可能出现左眼将其视为约翰、右眼将其视为保罗，而大脑却能正确识别为他这一情况。同样，当我们看到烟雾并闻到气味时，就能确定有烟雾存在。而不太可能出现的是，眼睛看到的是可乐，鼻子闻到的是醋，然后大脑却判定那是烟雾。根据我们的生活经验，当两个感觉器官（如眼睛）接收相同的输入（如屏幕上的图像）并产生相同的输出（如大脑的处理结果），且中间没有直接连接时，只要最终输出正确，它们就会给出一致的判断。

那么，如果两个人工神经网络并行连接并共同训练呢？也就是说，它们共享相同的输入层和输出层，而隐藏层则是相互独立的。显然，我们都知道，即便是最先进的人工神经网络也无法完全复制生物神经网络的结构与功能（Lacrama, Viscu, & Drugarin 2016；Zador 2019）。在电路架构、学习规则以及目标函数方面都存在显著差异（Richards et al. 2019）。目前还有一个尚未解决的问题，即当前网络模型的简化结构是否足以实现类似人类的学习和认知能力（Ullman 2019）。近年来，认知科学领域发展出了能够模拟大脑活动的计算模型（Kriegeskorte & Douglas 2018）。人们开始利用人工网络作为脑信息处理模型，用于预测新图像的表征形式（Yamins & DiCarlo 2016）、反映感知形状的行为反应（Kubilius, Bracci, & Op de Beeck 2016）以及物体相似性（Jozwik, Kriegeskorte, Storrs, & Mur 2017），还有人类步态模式的识别（Trivino, Alvarez-Alvarez, & Bailador 2010）。人们还利用受大脑启发的机制、结构及功能元素来构建和优化人工智能系统（Macpherson et al. 2021；Shi, Fan, Wang, & Zhang 2022）。同时，也有研究试图探究进化与神经网络之间的关联（Hasson, Nastase, & Goldstein 2020）。但显然，如果没有一种量化手段来衡量人工神经网络与生物神经网络之间的差异，这些目标就无法完全实现。遗憾的是，目前还缺乏这样的衡量标准。

在本研究中，我们以改进后的美国国家标准与技术研究院MNIST数据集的分类任务为例，发现了某些能够明确区分并行连接的人工神经网络与自然感觉器官的特性。而且，不同类型的并行连接人工神经网络表现出这些差异的程度也有所不同。这一发现可以作为衡量人工神经网络仿生程度的标准。

我们将在下一节详细介绍所使用的网络架构。第三节我们将进行四类实验，每类实验包含多种不同的并行连接人工神经网络组合，从而揭示协作模式的不同特性。最后在第四节中，我们会总结这些特性，并展示将这些特性作为评判标准时的实验结果。

章节要点

神经网络的并行连接

并行连接的人工神经网络最近才引起人们的兴趣。从理论上来看，深度为三或更高的并行连接神经网络不存在对偶间隙，这一特性有利于训练过程（Wang, Ergen, & Pilanci 2021）。这种架构的应用包括用于高效跨模态相似性搜索的深度紧凑编码学习（Yang et al. 2018），以及具有类别特定表示中心的哈希码学习（Deng, Yang, Liu, & Tao 2019）。为了进一步提升性能，还有一些研究采用了更密集的

实验设计

LeCun（1998）提出的MNIST数据集是机器学习研究中被广泛使用的资源（Deng 2012）。该数据集包含70000张28×28像素的灰度手写数字图像，数字范围为0到9。在本研究中，我们也使用神经网络作为分类器来识别这些图像中的数字，并研究并行连接人工神经网络中各分层的分类准确率，以此反映它们的协作模式。为此，我们设定的每个并行连接人工神经网络及全连接神经网络在输入层和输出层的神经元数量均为${28}^2=\mathrm{}$

结论与讨论

总而言之，当两个子网络连接形成并行连接人工神经网络时，我们的前三项实验表明，存在三种特性可将人工神经网络与自然生物感觉器官的并行连接区分开来。具体而言，实验（1）显示，当并行连接人工神经网络的分类准确率α_para被优化后，各个子网络的分类准确率α_i以及${\alpha }_i^{\prime }$往往会远低于这些子网络单独训练和优化时所能达到的最大值。

CRediT作者贡献说明

何广平：独自完成了这项研究的调研与论文撰写工作。

利益冲突声明

作者声明，他们不存在任何可能影响本文研究结果的已知财务利益冲突或个人关系。