摘要
深度强化学习（DRL）依赖于在时序相关的经验、不断演化的重放分布和自举目标条件下进行训练的神经网络，这些条件可能会使神经函数逼近变得不稳定。本研究探讨了可控正交化作为一种网络层面的机制，用于提高训练稳定性。牛顿迭代正交化（ONI）被选择性地应用于全连接层，通过层的位置和牛顿迭代次数T来控制正交化的位置和强度。我们首先在深度Q网络（DQN）中分析ONI的位置和强度，然后在MinAtar和Atari上评估所选配置。相同的设计原理被应用于数据正则化Q版本2（DrQ-v2）的评论家网络，在DeepMind Control Suite任务上进行评估。DQN-ONI在评估的离散控制游戏中提高了总体归一化分数和学习轨迹。在十二项任务的连续控制基准测试中，Critic-ONI没有出现学习失败的情况。学习率扫描和倒数第二层的激活统计进一步表明，具有更宽的可用优化范围和更稳定的中间表示。这些结果表明，选择性的、强度可控的正交化可以提高DRL神经网络的训练稳定性。
