摘要
扩散模型直接偏好优化（DPO）为将文本到图像扩散模型与人类偏好对齐提供了一条无需奖励函数的途径，但其监督通常局限于固定的胜者-败者配对。当不被偏好的样本仅覆盖有限的失败模式子集时，优化可能会过度强调局部数据集偏好，并提供的纠正性对比不足。我们提出了AdvDPO，一种面向扩散模型的对抗性候选负样本偏好优化框架。AdvDPO将策略与辅助对抗性扩散网络耦合，该网络从优选扩散状态生成局部扰动方向。生成的候选样本在保留提示、时间步和噪声目标的同时，增强了原始偏好对。策略从真实和合成的偏好对中学习，而对抗性网络则交替使用反向偏好监督和攻击目标进行训练，使合成候选样本对当前策略保持挑战性。在三个测试集和两个扩散骨干网络上，AdvDPO在比较方法中取得了最强的自动评估分数，并在匿名用户研究中获得了最大的偏好份额。
