成对分类：面向离线强化学习与大语言模型对齐的统一框架

《Applied Sciences》：Pairwise Classification as a Unified Framework for Offline Reinforcement Learning and Large-Language-Model Alignment

　　

离线强化学习（offline reinforcement learning, offline RL）与大语言模型（large language model, LLM）对齐通常被视为两个独立领域，各自发展出了成对比较技术。先前研究仅在离线RL内验证了成对分类（pairwise classification），其能否推广到单一领域之外仍不明确。本研究将成对分类重新概念化为一种与领域无关的结构性原理，而非局限于离线RL的技术；该原理用于在共享上下文下判断两个候选者中哪一个得分更高。研究人员将该原理实例化为成对决策Transformer（pairwise-Decision Transformer, pairwise-DT）与成对微调（pairwise fine-tuning, pairwise-FT）：前者通过比较离线RL中两条转移的Q值来扩展决策Transformer（Decision Transformer, DT），后者通过将相同的成对损失应用于两个领域，比较LLM对齐中两个回答的偏好得分。通过在三个MuJoCo环境以及Anthropic Helpful and Harmless Reinforcement Learning from Human Feedback（HH-RLHF）数据集上的实验，pairwise-FT在约一半的训练时间内、无参考模型条件下，在五个随机种子上取得了高于直接偏好优化（direct-preference optimization, DPO）的奖励准确率。pairwise-DT在所有三个MuJoCo环境中均优于标准DT。对一系列温度值的敏感性分析证实，该优势并非来自有利的超参数选择；这一稳健性在LLM侧表现强烈，在MuJoCo侧程度稍弱。在LLM侧，该优势具体反映在偏好打分/奖励建模性能上，而非完整的生成质量对齐。

离线强化学习（offline reinforcement learning, offline RL）与大语言模型（large language model, LLM）对齐通常被视作独立领域，各自发展出成对比较技术。两个领域都包含一个基本操作：在共享上下文中判断两个候选者中哪个更优。然而，先前研究仅在离线RL内验证成对分类，未能回答其是否可以推广到LLM对齐等异质领域。同时，LLM对齐中的常用方法直接偏好优化（direct-preference optimization, DPO）依赖固定参考模型，每步需额外前向传播；离线RL中的决策Transformer（Decision Transformer, DT）体系则多采用二元专家/非专家标签，未充分利用两个动作之间的相对优劣信息。因此，研究人员希望将成对分类重新定义为领域无关的结构性原理，并检验去掉参考模型后的统一成对目标是否在两个领域均有效。

研究人员将两个领域的目标抽象为同一成对分类问题：给定共享上下文和候选对，判断哪个候选得分更高。该原理被实例化为pairwise-DT（比较离线RL中两条转移的Q值）和pairwise-FT（比较LLM对齐中两个回答的偏好得分）。两个模型共享同一成对损失，仅骨干网络不同；均不依赖参考模型。实验结果显示：pairwise-FT在五个随机种子上奖励准确率均高于DPO，训练时间约少一半；pairwise-DT在三个MuJoCo环境的环境均值上均优于DT。研究意义在于首次以跨领域证据表明，无参考成对分类可从离线RL推广到LLM对齐，为偏好学习提供统一、低成本的训练框架。

为开展研究，使用的主要关键技术方法如下：将两个领域的目标（离线RL中比较两条转移的Q值，LLM对齐中比较两个回答的偏好得分）统一为同一成对分类损失；实例化为领域特定模型——pairwise-DT以决策Transformer为骨干并附加价值头，pairwise-FT以GPT-2（124M）为骨干并附加偏好头；两者均无参考模型。RL侧使用D4RL medium-v2数据集（经Minari加载，包含HalfCheetah、Hopper、Walker2d三个MuJoCo环境），LLM侧使用Anthropic HH-RLHF helpful-base训练子样本20k。对照包括DT/MGDT与DPO/二分类偏好基线，并使用多随机种子、配对t检验、bootstrap与温度敏感性分析评估稳健性。

### 4.1 公共实验设置
LLM实验在PyTorch与Hugging Face Transformers中实现，MuJoCo实验使用基于PyTorch的DT与Gymnasium（MuJoCo-v4）环境，数据