神经价值对齐：目标 - 行动模糊性下的人机协作

《IEEE Transactions on Cybernetics》：Neural Value Alignment: Human–AI Collaboration Under Goal-Action Ambiguity

　　价值对齐在人类与人工智能（AI）协作中起着至关重要的作用。传统方法试图从行为中推断人类目标，以此指导AI策略。然而，这种行为层面的对齐面临着一个固有的挑战：目标与行动之间存在模糊的映射关系，因为同一个行动可能服务于多个潜在目标，而不同的行动也可能实现相同的目标。为了克服这些局限，我们提出了神经价值对齐（NVA），这是一种统一的视角，利用人类强化学习（RL）中的关键变量：奖励预测误差（RPE）和状态预测误差（SPE）。RPE捕捉结果偏差，从而优化AI的目标推断；SPE反映状态转移的不一致，从而塑造AI的行动。通过一种新颖的任务范式将RPE和SPE分离，并结合脑电图（EEG）记录，我们证明了RPE、SPE及其共现现象在皮层层面的可解码性，且在不同情境下表现稳健。模拟结果表明，即使在解码不完美条件下，RPE与SPE的协同作用也能加速价值对齐过程。本研究搭建了强化学习与人类-AI交互之间的桥梁，表明RPE-SPE的协同作用能够在目标-行动模糊的条件下，实现灵活且兼容人类的智能系统运行。