神经网络的转换等价性

《Entropy》：Transformation Equivalence of Neural Networks

　　

摘要

多层感知器（MLPs）被视为一种独特的学习模型。这种模型的特殊性会导致学习过程中的局部最小值和平台期。I/O等价性（即两个不同的MLPs被视为同一个多变量函数）是理解神经网络中这些特殊性的关键概念。在本文中，我们将I/O等价性扩展到了T等价性，即通过输入和输出的转换，两个MLPs能够产生相同的结果。我们提供了构建特定类型的神经网络（实数、复数和四元数值神经网络）的T等价网络的具体方法和流程。特别是，四元数值神经网络的T等价性比其他类型的神经网络更为复杂。