基于动量传输与自适应近端参数的Stiefel流形保护型外推近端梯度方法

《Axioms》：A Safeguarded Transport-Extrapolated Proximal Gradient Method on the Stiefel Manifold

　　

受稀疏主成分分析（PCA）启发，本文提出ATE-ManPG，一种用于在Stiefel流形上最小化光滑函数与凸的、可能非光滑函数之和的保护型传输外推近端梯度方法。该方法在流形近端梯度法（ManPG）基础上增加两个要素：通过将前一近端搜索方向传输至当前切空间获得的动量，由单调重启保护机制加以防护；以及一个有界自适应近端参数。对于精确理想化迭代，证明了全局收敛至稳定点以及??(1/??²)迭代复杂度；在指数为1/2的近端Kurdyka–?ojasiewicz条件与相对误差条件下（二者均作为显式假设给出），收敛为R-线性。在稀疏PCA模型上的实验（由返回点处的外部残差证书验证）显示，相对于固定参数ManPG，平均迭代次数减少3.6倍；析因消融表明该减少主要归因于自适应参数，而传输动量平均额外贡献6.4%，且集中于一个配对试验中。

一、研究背景与问题提出

Stiefel流形上的正交约束优化在稀疏主成分分析（PCA）、压缩模态、特征选择及盲反卷积等领域具有核心地位。本文考虑如下复合优化问题：最小化光滑函数f（其梯度满足L-Lipschitz条件）与凸的、可能非光滑函数h之和，约束变量位于Stiefel流形之上。Chen、Ma、So和Zhang提出的流形近端梯度法（ManPG）是一种基于回缩（retraction）的算法，每步在切空间通过半光滑牛顿（SSN）法求解强凸子问题，具有全局收敛性与??(1/??²)迭代复杂度，并于2024年入选SIAM Review的SIGEST专栏，彰显其实际影响力及其在统一非光滑黎曼优化理论中的作用。

然而，现有研究存在若干空白与问题。在流形加速方面，Huang和Wei将快速迭代收缩阈值算法（FISTA）经逆回缩与周期保护推广至Stiefel流形，其黎曼近端梯度（RPG）框架在回缩凸性与局部KL速率下给出复杂度，但未分析其朴素加速变体（V-ARPG）；Feng等人在曲率/凸性假设下给出加速黎曼近端速率。在惩罚与约束处理方面，光滑精确惩罚、无惩罚不可行方法、约束溶解及乘子/并行格式构成替代方法族，但不能直接替代ManPG切子问题。关于自适应ManPG，Chen等人已提出ManPG-Ada，故自适应近端参数本身并非本文首创；本文聚焦于带单调保护的方向传输外推以及KL速率何时得以保持。关于基于KL的局部线性收敛，当指数为1/2且相对误差界成立时KL不等式可给出线性速率，Liu、So和Wu证明了Stiefel流形上光滑二次函数的相应指数，Wang、Liu和So研究了稳健?₁-PCA而非惩罚方差目标，Huang和Wei获得指数未指定的黎曼KL性质。半代数性本身并不能为Stiefel流形上的惩罚目标规定指数1/2。

基于上述背景，本文研究ManPG搜索方向的传输外推、单调重启与有界自适应近端参数，旨在回答：方向传输外推能否在保持ManPG级别保证的前提下带来实际加速；自适应参数在加速中贡献几何；以及在何种显式假设下KL线性速率得以保持。

二、研究工作与主要结论

研究人员提出ATE-ManPG算法（自适应传输外推ManPG，算法1），其核心构成为：正交投影传输（无需逆回缩）、有界动量上限、基于目标函数的重启、自适应近端参数，以及返回残差获得证书的工作点。相对于ManPG，每步仅增加一次回缩与一次函数评估。理论方面，证明了充分下降（引理1）、全局子序列稳定性（定理1）、??(1/??²)迭代复杂度（定理2），以及通过标准KL论证得到的条件R-线性速率（定理3），且对自适应近端参数一致成立。作者明确指出并不声称每个稀疏PCA稳定点均具有指数1/2（注1），并给出显式反例；相对误差在光滑性或符号相容条件下得到验证（命题1）。实验方面，在来自存档标量记录并带外部证书的稀疏PCA问题上，将ATE-ManPG与ManPG、ManPG-Ada、TE-ManPG、AManPG、P-ARPG及RPG进行比较；统一的析因消融表明自适应解释总加速的大部分，传输动量在自适应基础上平均额外减少6.4%迭代（集中于一个配对试验），并伴随运行时间开销与偶尔的质量折衷。

该项研究的重要意义在于：首次系统刻画了搜索方向传输加目标函数重启这一构造在Stiefel流形非光滑优化中的理论性质，明确了KL速率得以保持的条件，并通过外部证书协议提供了可复核的实证证据；同时厘清了自适应参数与动量外推各自的边际贡献，避免了将总加速误读为纯动量效应。

三、关键技术方法

研究人员采用的主要技术方法包括：（1）以正交投影作为向量传输（vector transport），成本为??(r²n)，仅需一次乘积与对称化，无需逆回缩或线性系统求解；（2）在切空间求解ManPG强凸子问题，采用半光滑牛顿（SSN）法对偶系统求解，?₁情形使用逐元素软阈值，热启动减少内层迭代；（3）基于目标函数的单调重启保护机制，当外推导致F上升时丢弃动量并回到ManPG步；（4）基于回溯计数的有界自适应近端参数更新规则；（5）外部残差证书协议，在返回点额外执行一次高精度SSN求解以独立判定收敛性。实验数据来自存档的逐次运行标量记录（方法、维度、容差、种子、外层迭代数、墙钟时间、终止状态、重启次数、返回点外部残差/可行性），种子共享，初值为随机奇异值分解（SVD）初始点，运行环境为MATLAB R2024a、Windows 11、Core i7；标准表为10次试验，扫描为3次，高精度为单次试验（种子10042）。

四、研究结果

（一）标准精度比较。在n=1000、r=10、λ=0.1、容差10^?6、10次试验下，表中全部60次运行连同析因消融中额外10次TE-ManPG运行均通过外部证书（返回点残差低于容差、可行性<10^?6），所有方法均认证。ATE-ManPG相对于固定参数ManPG实现3.6倍平均迭代减少，但这并非纯动量效应：ManPG-Ada已给出2.9倍。在统一消融中，加入传输动量在自适应基础上进一步带来6.4%平均迭代减少，且集中于一个配对试验（种子90042：约节省141次迭代中的106次，但目标值较差）；其余九对仅改善约0.5%。含动量的平均运行时间更高（9/10配对中ATE更慢）。因此表2需与析因消融联合解读：总平均迭代减少中，既有自适应近端参数贡献2.9倍，统一消融将两种机制分离后，单独自适应给出2.5倍，单独传输外推给出1.5倍，二者组合给出3.5倍，故外推在自适应之上的边际贡献为3.5/2.5≈6.4%。与最接近方法相比，ATE-ManPG相对固定参数ManPG在各设置下一致更快（此处减少72%，n扫描200–1500范围内减少48%–73%，λ扫描范围内减少54%–84%）；相对基于外推的AManPG与P-ARPG，它避免逆回缩、通过重启强制每步目标下降并返回残差获证点，且在该测试平台上达到更低的认证目标值（13.51对15.77与15.65）与更低的运行时间（3.85 s对8.00 s），而P-ARPG在另一种子问题模型与外层步计数下需要更少外层迭代；相对ManPG-Ada优势温和且依赖实例；标准精度下RPG以最高迭代与时间成本取得略低目标值，高精度下是唯一在四个容差下均获认证的方法，故无单一方法占优。

（二）维度缩放与正则化。维度扫描（3次试验，含ManPG-Ada）与正则化扫描显示，相对ManPG的迭代减少在n上稳定但随λ变化；除n=1500处一次ATE-ManPG试验（返回残差在内部停止触发后超出容差，报告为0/3）外，所有运行均通过外部证书；且这些扫描比较的是不同调参的总方法而非孤立动量。

（三）高精度行为。在单次试验（种子10042）、统一迭代预算5000下，成功仅由外部证书判定。获证情形与内部停止计数不同：容差10^?4时SSN族（ManPG、TE、ATE）在达到容差前触发显式Armijo失败（修订代码中有效内层下限）；ManPG-Ada通过10^?4而在10^?5失败；P-ARPG在168次迭代后保护性退出且残差接近1.3；AManPG内层求解严重变慢并在该容差下未完成预算；RPG在此处四个容差下均获认证。失败条目具有数值而非理论成因：SSN族在极小容差下的Armijo失败反映线搜索与内层求解器的交互——引理1仅对精确子问题保证充分小步长的接受，而在接近目标残差时，计算方向预测的下降量（阶为10^?10至10^?12）低于内层对偶残差下限引起的扰动，回溯无法修复；当线搜索困难时自适应收紧内层容差正针对这一交互。P-ARPG条目并非数值失败，而是设计性终止；AManPG的破折号为预算失败。这些条目均不与理论矛盾：定理1–2针对精确理想化迭代，而ManPG-Ada与RPG在10^?9的获证表明实际下限依赖于实现而非普遍存在。上述计数为单一实现与预算下的经验观察，并非渐近阶的验证。

（四）析因消融与上限敏感性。析因消融由同一实现产生（相同SSN精度、停止证书、Armijo常数、自适应规则、种子），仅切换动量标志与自适应近端参数，全部获认证。归因如下：单独自适应2.52倍，单独动量1.37倍，组合2.68倍；动量在统一自适应规则之上增加6.4%，集中于一个配对试验，该处运行时间更高且目标值更差。ATE频繁触发重启（约206次迭代中148次）。研究人员的自适应因子强于ManPG-Ada规则（220对251），故该差距部分源于调参。外推的边际效应强烈依赖实例，其集中性表明依赖于问题实例与初始点；重启统计与该机制一致：仅当相继近端方向沿目标光滑弧保持相关时外推才有益，而在h的?₁拐点附近方向去相关、单调重启丢弃动量，故仅轨迹在该弧上停留足够久的实例才能实质性获益，种子90042是十次中唯一此类实例。传输动量应视为对某些实例具有决定性、而非一致加速的保护性选项；在λ扫描中其边际效应从可忽略（λ=0.2：486对482次迭代）到中等（λ=0.01：41对60次），且第4节最坏情形理论不声称其带来阶改进。上限敏感性表显示平均迭代次数在动量上限变化下平坦（均在一个标准差内），而重启频率随上限轻微增加，证实上限为无特殊理论作用的调参默认值，控制迭代的是保护机制而非数值上限。

五、讨论与结论

讨论部分明确了若干局限与未来方向：（i）为非退化稀疏PCA子类证明指数1/2与假设1，或给出一般指数速率；（ii）按非精确RPG框架统一非精确SSN分析，注3仅为常数层面的第一步；（iii）开展仅重启/仅上限研究及更多应用；（iv）解释集中试验中的质量折衷；惩罚与约束溶解替代方法尚未比较。

结论部分翻译如下：ATE-ManPG是Stiefel流形上一种保护型传输外推近端梯度方法，包含投影搜索方向外推、单调重启与有界自适应近端参数，并返回残差获证的工作点。对于精确理想化迭代，研究人员证明了全局子序列稳定性与??(1/??²)迭代复杂度，以及在显式KL与相对误差假设（光滑性或符号相容）下的条件R-线性速率。惩罚稀疏PCA目标不具有普遍的指数1/2性质，本文给出显式反例。因此任何从??(1/??²)到线性阶的局部阶变化均为KL效应而非最坏情形加速（定理3）；本文不声称优于ManPG的最坏情形阶。统一外部证书下的实验显示相对于固定参数ManPG平均迭代减少3.6倍，主要来自既有自适应参数；传输动量增加小的、依赖实例的6.4%，并伴随运行时间开销与偶尔的质量折衷。其独特构造为搜索方向传输加基于目标的重启；理论记录了KL速率何时得以保持。