通过固定点方程实现黎曼双层次优化中的黎曼隐式微分

《IEEE Transactions on Neural Networks and Learning Systems》：Riemannian Implicit Differentiation via a Fixed-Point Equation for Riemannian Bilevel Optimization

Riemannian优化中的隐式微分法研究：提出统一外梯度计算框架，通过将内层优化转化为不动点方程的根查找问题，实现多级优化任务的外梯度表达式统一推导，降低专家参与度，并验证了收敛性和有效性。

　　

摘要：

各种黎曼优化任务，如黎曼元优化（RMO）和黎曼元学习，可以表述为黎曼双层优化问题（即内层优化和外层优化）。隐式微分在解决RMO时表现出有效性，它将外层梯度的计算与内层过程分离，避免了巨大的计算负担。然而，将隐式微分扩展到其他黎曼双层优化任务并非易事，因为这需要大量专家参与针对每个任务进行单独的推导。在本文中，我们提出了一种黎曼隐式微分方法，该方法为外层梯度提供了一个统一的表达式，从而可以更灵活地应用于其他任务，并减少专家的参与度。具体来说，我们将内层优化表述为一个不动点方程的求解过程，通过这种方式，不同任务之间的内层优化被统一地表述出来。通过对不动点方程进行微分，我们得到了外层梯度的统一表达式，避免了针对不同任务进行单独推导的必要性。随后，我们进行了收敛性和近似误差分析，证明了该方法在各种黎曼优化任务中的有效性。我们还在多个黎曼优化任务上进行了实验，实验结果证实了该方法的有效性。