用于序列决策中无训练策略融合的Top-k均匀投影方法

《Neurocomputing》：Top-k uniform projection for training-free policy fusion in sequential decision making

　　摘要：推理时策略融合无需重新训练即可提升已部署的序列决策智能体的鲁棒性，但现有的融合规则存在实际应用中的权衡问题。诸如加权平均这样的全分布融合方法可能会传递低置信度的辅助动作，而基于排名前1的动作的投票方法则会丢弃除最高排名动作之外的有用排序信息。我们提出了Comp-Greedy，这是一种无需训练的推理时多策略融合机制，其核心融合规则是基于top-k均匀投影算子的改进互补策略（RCS）。在本文中，Comp-Greedy指的是整体的推理时融合机制，而RCS则指具体的top-k均匀投影规则。该规则将主策略作为决策基准，将每个辅助策略投影到统一的top-k支撑集上，仅对选定的辅助动作赋予恒定的融合强度。这种设计能够过滤掉低置信度的辅助噪声，同时减少对不同概率校准程度的依赖。我们推导出了在多辅助策略融合后仍能保留主策略选择的支撑边界条件，并从机制层面分析了共识强化效应及可能的误差校正效果。在视觉语言导航基准测试（R2R和R4R）、两种高难度探索型Atari游戏（Venture和Gravitar）、《星际争霸》多智能体挑战赛以及多智能体粒子环境中进行的实验表明，该方法在多种子SMAC/MPE评估中表现出一致的优势，并在所采用的VLN/Atari评估标准下取得了优异的性能。该方法无需训练任何参数，仅需两个可解释的推理时超参数用于辅助策略的投影，因此适用于在已有多个训练好的策略且可承受额外推理成本的情况下提升已部署智能体的性能。

引言：序列决策是智能体的基本能力，广泛应用于视觉语言导航[18]、自动驾驶、机器人操作、高难度探索型视频游戏[40]以及协作式多智能体控制[39][50]等领域。序列决策的核心在于有效整合一个或多个训练模型的决策信息，从而在每一步生成准确可靠的行动预测。近年来，得益于深度强化学习和大规模视觉语言预训练的推动，序列决策取得了显著进展，引起了学术界和工业界的广泛关注。这类智能体通常采用从单个训练模型中得到的贪婪策略进行部署，即在每个决策步骤中通过对该模型输出分数取argmax来选择行动。

近期，人们付出了大量努力来提升贪婪决策的鲁棒性，因为在面对分布偏移、奖励稀疏或需要协同的任务时，贪婪策略往往表现不佳。现有方法大致可分为两类。第一类侧重于训练时的探索策略，包括ε-贪婪算法、Softmax[5][56]、上置信界算法（UCB）[19][46]、汤普森采样算法[20][48]、玻尔兹曼探索算法[9][42]以及GLIE算法[54]。例如，基于UCB的方法[19]通过置信界来平衡探索与利用，而汤普森采样算法[48]则通过后验采样实现相同目标。然而，这些方法仅在训练阶段处理探索与利用的权衡问题，一旦训练完成，在推理阶段就无法提升决策质量。第二类方法则转向推理时的策略融合，通过整合多个独立训练得到的策略的输出来增强决策的鲁棒性。例如，加权平均法[14]会对各策略的完整输出分布进行聚合，而互斥排名融合法[12]则基于它们的离散排名信息进行操作。

尽管这些方法已取得显著进展，但仍然存在两个关键局限性。一方面，现有的融合方法对不同策略的异构输出应用了固定的聚合规则，未能考虑各策略之间不同的置信度模式。具体而言，全分布融合方法不可避免地会传递来自辅助策略中低置信度动作的噪声，因为无论某个动作在源分布中的排名如何，它都会被赋予非零的贡献值。当各策略之间存在校准差异时，这类噪声会带来更为严重的负面影响，即便单个策略本身性能良好，也会导致决策质量下降。另一方面，当前的离散融合策略无法充分利用区分高置信度动作与低置信度动作的精细排名信息；它们仅保留排名前1的动作或位置，从而丢弃了有效融合所必需的结构信息。如图1所示，传统的ε-贪婪决策方法依赖于单一训练模型，当模型遇到其训练分布之外的状态时，其性能会显著下降。即便存在多个训练好的策略，现有的融合策略也无法同时实现噪声过滤（即对低置信度的辅助动作赋予零贡献）、辅助策略分数的校准鲁棒性（即对辅助策略分数的保序变换保持鲁棒性）、保留有用的top-k支撑结构以及维持连续的主策略分数基准，这构成了异构策略融合中的一个根本性设计难题。

为解决上述问题，我们提出了Comp-Greedy，这是一种无需训练的推理时多模型融合机制，其核心算法为改进互补策略（RCS）。基于这样一个观察：在异构训练环境下，策略的排名信息往往比其绝对概率值更为稳定，我们认为实用的融合机制应当有选择地仅保留辅助策略中的高置信度动作，同时忽略那些可能校准不准确的概率值。为实现这一理念，我们设计了一种基于top-k均匀投影算子的以主策略为基准的top-k支撑融合规则。该运算符包含两个互补的操作：一个top-k选择模块，用于过滤掉每个辅助策略中的低置信度噪声；另一个均匀投影模块，则为选定的动作赋予恒定的支撑强度。在形式化定义的支撑边界条件下，该融合规则能够保留主策略选择的动作，同时在非共识状态下允许跨策略共识带来误差校正的机会。虽然该规则本身是固定的，但每个动作实际获得的增强效果会随着每个状态下主策略与辅助策略之间的top-k重叠程度而自然变化，从而产生三种质量上有所差异的融合模式：共识强化、误差校正以及有限扰动。与仅在训练阶段才能发挥作用的探索策略不同，RCS完全在推理时进行决策融合，它是对现有探索方法的补充而非替代。

本文的主要贡献可总结如下：
•一种无需训练的序列决策推理时融合机制。我们提出了RCS，这是一种以主策略为基准的top-k支撑融合规则，通过top-k均匀投影算子整合不同策略的输出。RCS结合了辅助噪声过滤、辅助策略分数的校准鲁棒性、top-k支撑结构的保留以及连续的主策略分数基准，有效减少了低置信度辅助噪声的传播，使得无需重新训练或修改架构即可为已部署的智能体实现实用的推理时融合。
•对融合行为的机制层面分析。我们建立了形式化定义的支撑边界条件（命题2），用以说明在多辅助策略融合情况下何时能保留主策略选择的动作，并给出了两策略情形下的具体分析（引理1）。此外，我们还提供了分析性分解（命题3–4），用以解释决策优势的状态依赖性以及共识强化和误差校正可能发生的条件。这些结果应被视为机制层面的分析，而非任务层面的性能保证。
•在多种基准测试上的广泛实证评估。我们在视觉语言导航（R2R、R4R）、两种高难度探索型Atari游戏（Venture、Gravitar）、《星际争霸》多智能体挑战赛（9张地图）以及多智能体粒子环境（3种场景）中对所提出的方法进行了评估。RCS在多种子SMAC/MPE评估中表现出一致的优势，并在所采用的VLN/Atari评估标准下取得了优异的性能，其中多种子SMAC/MPE测试结果提供了最可靠的统计证据。

章节摘录：
视觉语言导航：视觉语言导航要求智能体能够将自然语言指令和视觉观测结果转化为在未知环境中的系列导航动作。Room-to-Room（R2R）基准测试[4]已成为该问题的标准测试平台，后续的R4R等扩展版本进一步增加了轨迹长度和指令的复杂性。视觉语言导航面临的一个主要挑战是泛化能力：在有限室内环境中训练出的智能体，在未经验证的陌生环境中的性能往往会有显著下降。

所提出的方法论包括三个部分：（1）基于top-k均匀投影的RCS融合规则；（2）对决策保持能力及潜在误差校正行为的机制层面分析；（3）在多种序列决策领域中对相关共识假设的实证验证。本文还提出了并行模型架构，即多个独立训练好的模型共同执行同一任务的决策工作。

视觉语言导航的设置与环境增强：视觉语言导航任务通常被建模为部分可观测马尔可夫决策过程（POMDP），其中后续的视觉观测结果取决于智能体的当前状态及其所采取的动作。智能体通过遵循自然语言指令在离散环境中进行导航，该环境被表示为一个连通图G={V,E}，其中V代表视角集合，E代表边集合。在每一步骤中，智能体都会接收到一幅全景视图。

实验设置：除了第4节中报告的视觉语言导航实验外，我们还在三类与视觉语言导航在观测模式、交互复杂度及决策结构方面存在差异的强化学习环境中对RCS进行了评估。尤其是SMAC和MPE这类评估，为所提出的机制提供了更有力的多种子统计证据。

环境：我们考虑了三类基准测试环境：（1）Atari游戏（Gravitar/Venture）——这类离散单智能体任务旨在测试精细的电机控制能力。

结论与未来工作：本文提出了Comp-Greedy，这是一种无需训练的决策时融合机制，其核心算法为改进互补策略（RCS），该算法为辅助策略引入了top-k均匀投影算子，同时仍将主策略作为分数基准。从理论层面来看，我们建立了在多辅助策略融合条件下仍能保留主策略选择动作的支撑边界条件（命题2），并从机制层面将该过程分解为保护项和……等内容。