通过平衡低频和高频梯度克服虚假相关性提升深度神经网络算法推理能力

《IEEE Transactions on Pattern Analysis and Machine Intelligence》：Balancing Gradient Frequencies Facilitates Inductive Inference in Algorithmic Reasoning

　　

摘要：

归纳推理，即从有限实例中推断一般规则，被认为是人类智能的基础。遗憾的是，深度神经网络（DNNs）在归纳推理方面表现不佳，因此甚至无法学习算法推理（AR）中最简单的算法。现有针对DNN进行AR的研究主要集中在DNN的架构设计上。在本研究中，我们探究优化技术对AR性能的影响。通过设计小型实验来理解优化器在AR中易受非泛化解的影响，我们发现Adam这一朴素的优化选择在虚假相关性面前极易被误导。为了克服Adam的这一缺陷，我们提出了一种新颖的优化器，即通过平衡低频和高频梯度来避免虚假相关性（BGF）。我们进行了大量实验和分析，展示了BGF在各种架构和AR任务中的广泛且多方面的优势。特别是，BGF扩展了所有探索的DNN模型的AR能力，甚至显示出使它们学习先前无法完成的任务的潜力。BGF在攀登乔姆斯基层级上的成功突显了优化技术在开发基于DNN的先进人工智能中的重要性。