一种基于学习的视觉定位高效算法

《Neural Networks》：An Efficient Algorithm for Learning-Based Visual Localization

　　摘要：本文研究了在GPS信号受阻环境中的视觉定位问题。为实现高精度且稳健的定位性能，我们提出了一种基于最优控制原理（OCP）的新型优化算法，并融入了对角Hessian信息估计。通过利用这种曲率信息，该算法提升了深度神经网络的训练效率，加速了优化收敛过程。从理论上讲，该算法的收敛速率为O(1/T)。在公共数据集上的实验结果证明了该方法的有效性。在视觉定位任务中，与Adam算法相比，该算法在大庭院场景下的位置精度提升了33.71%，旋转精度提升了15.66%。在其他任务中也观察到了类似的性能提升，显示出较强的泛化能力。

引言：用于视觉任务的深度神经网络训练，如在GPS信号受阻环境中的定位，往往由于随机梯度下降（SGD）（Robbins和Monro，1951）以及自适应矩估计（Adam）（Kinga等人，2015）等一阶算法的局限性而存在收敛缓慢的问题。虽然二阶算法可以通过Hessian信息加速训练，但其计算开销对于深度神经网络来说过高。然而，一阶算法的局限性不仅限于收敛缓慢。由于仅依赖梯度信息，这些算法对损失函数的曲率缺乏敏感性。而在优化典型的深度视觉定位网络所面临的高度非凸目标函数时，这是一个关键的缺陷。缺乏二阶信息不仅会延长训练时间，还会影响最终测试性能。因此，优化器可能难以摆脱尖锐的局部最小值或穿越条件恶劣的“峡谷”。为了解决这一问题，近期研究探索了各种近似二阶方法（Martens和Grosse，2015；Yao等人，2021），它们通过克朗克尔因子近似或无Hessian矩阵的方法来引入曲率信息。不过，这两类方法都存在固有局限：前者虽然在一定程度上降低了计算负担，但由于其因子化近似过程，仍会产生较大的计算和内存开销；后者虽然避免了显式存储Hessian矩阵，但往往依赖于缺乏理论保障的启发式更新规则。因此，现有方法在收敛效率和训练模型的最终质量方面仍有很大的改进空间。此外，在模型架构固定的情况下，性能上限取决于优化算法的效率和效果，这使其成为关键的瓶颈。这就需要探索和开发新的算法。视觉定位任务呈现出一种独特的优化挑战，使得二阶信息不仅有益，而且可以说是不可或缺的。与标准图像分类任务中粗略的类别预测即可相比，相机姿态回归需要在高维连续空间中得到精确的数值输出。三维平移和旋转的耦合表示形成了一个既高度非凸又条件极差的损失面。由于位置和姿态分量的尺度存在根本差异，不同参数维度上的曲率变化极大。仅依赖局部梯度信号的一阶算法本质上无法感知这种各向异性曲率，因此在平坦方向上收敛缓慢，而在陡峭方向上则会出现振荡现象。OCP方法（Zhang等人，2024a）提供了一种原理性的解决方案：通过将优化问题转化为最优控制问题，它自然地产生了能够利用局部曲率信息对梯度进行预处理的更新规则，从而有效地规范了不同参数维度之间的差异尺度（如图1所示）。这种基于控制理论的推导使OCP有别于启发式的二阶近似方法，并提供了其他方法所不具备的收敛质量的理论保障。为了解决上述问题，本文提出了一种基于OCP方法的新型二阶优化算法。通过运用OCP方法的核心思想并结合Hutchinson对角近似技术，该算法可高效应用于大规模随机优化问题。该算法的有效性主要通过在基于学习的视觉定位任务上得到验证，而在图像分类任务上的额外实验进一步证明了其通用性。主要贡献如下：•我们为基于学习的视觉定位任务提出了一种新的二阶优化器。通过结合Hutchinson方法实现高效的对角Hessian估计，我们首次将原本仅适用于低维控制问题的OCP方法（Zhang等人，2024a）应用于大规模神经网络训练。这避免了精确计算Hessian矩阵的高昂成本，为大规模神经网络训练提供了可行的更新规则。•具有严格收敛保证的算法设计。在标准假设下（Lipschitz梯度连续性、梯度方差有界以及Hessian对角线有界），我们证明了该算法的收敛速率为O(1/T)，明显快于Adam型方法（Chen等人，2019）的O(logT/T)收敛速率，同时还给出了明确的常数，为超参数选择提供了理论指导。•全面的实证验证。在视觉定位基准测试任务（剑桥地标上的PoseNet变体、7个场景上的MapNet）上的大量实验表明，该算法在位置精度和旋转精度方面均持续优于Adam、AdamW和AdaHessian算法，尤其是在大型复杂场景中优势更为显著（在大庭院场景上，位置精度比Adam高出33.71%，旋转精度高出15.66%）。在图像分类任务（ResNet-18和ViT架构下的CIFAR-10/100任务）上的补充实验进一步证实了该算法在不同任务和架构中的通用性。本文的其余部分结构如下：第2节回顾了视觉定位任务及优化算法的相关研究；第3节详细介绍了基于OCP方法的算法设计；第4节展示了实验结果和分析；最后，第5节对全文进行总结，并提出了未来工作的方向。

视觉定位方法：视觉定位旨在从单张图像中估计相机的6自由度姿态，这对机器人技术和增强现实而言至关重要。现有的方法大致可分为基于几何的方法和基于学习的方法。基于几何的方法：传统的基于几何的流程，如运动结构分析（SfM）（Schonberger和Frahm，2016）以及同时定位与建图（SLAM）（Mur-Artal等人，2015），依赖于手工设计的特征提取和匹配机制。

优化算法：在本节中，我们将阐明OCP-LS算法的理论起源。该算法源自Zhang等人（2024a）提出的OCP方法，并将其扩展到大规模随机优化问题。OCP-LS保留了Zhang等人（2024a）中基于最优性条件得出的更新框架，继承了其在理论基础和收敛速率方面的优势，同时改进了其具体求解过程：它引入了对Hessian矩阵的对角近似。

实验环境：所有实验均在基于PyTorch 2.5.1（搭配CUDA 12.8）和Python 3.10.19的环境中进行。硬件平台包括一块NVIDIA RTX A6000 GPU（48GB显存）以及两颗Intel Xeon Platinum 8380 CPU，运行在Linux操作系统上。

优化器的模块化实现：OCP-LS算法是使用标准的自动微分框架PyTorch实现的。其计算仅需梯度以及Hessian矩阵对角元素的估计值，而这些对角估计值可以通过高效的方式获得。

结论：本研究提出了OCP-LS，这是一种基于OCP框架的二阶优化算法，能够有效利用通过Hutchinson方法估计得到的对角Hessian信息。我们在标准假设下确立了该算法的收敛速率，并通过实验验证了其有效性。OCP-LS在多种任务中都能实现更快的收敛速度和更好的泛化能力，这证明了将OCP方法整合到深度学习中的实际价值。本研究的一个关键贡献在于……

未标注引用：缺少引用信息。

表1C：CRediT作者贡献说明：钟金迪：撰写——原始草稿、软件、方法论、研究、正式分析、概念设计；郭子渊：撰写——审阅与编辑、软件、概念设计；王红霞：撰写——审阅与编辑、验证；张焕水：监督、项目管理、资金获取。

利益冲突声明：作者声明没有已知的、可能影响本文所述工作的财务利益或个人关系。

致谢：本研究得到了中国国家自然科学基金委员会的基础研究计划项目（62450004）、国家自然科学基金委员会的联合资助项目（U23A20325）以及山东省智能感知与自主控制重点实验室的支持。

钟金迪|郭子渊|王红霞|张焕水