《Frontiers in Robotics and AI》:Adaptive querying for reward learning from human feedback
编辑推荐:
从人类反馈中学习是一种流行的训练机器人适应用户偏好并提高安全性的方法。现有方法在寻求人类反馈时通常只考虑单一查询(交互)格式,并未利用人与机器人的多种交互模式。研究人员考察了如何使用多种人类反馈形式学习与不安全行为相关的惩罚函数,通过同时优化查询状态和反馈格式
从人类反馈中学习是一种流行的训练机器人适应用户偏好并提高安全性的方法。现有方法在寻求人类反馈时通常只考虑单一查询(交互)格式,并未利用人与机器人的多种交互模式。研究人员考察了如何使用多种人类反馈形式学习与不安全行为相关的惩罚函数,通过同时优化查询状态和反馈格式来实现。所提出的自适应反馈选择(Adaptive Feedback Selection, AFS)是一种迭代的两阶段方法:首先选择用于查询的关键状态,然后利用信息增益在采样得到的关键状态集合中为查询选择反馈格式。反馈格式的选择还考虑了以某种格式接收反馈的成本与概率。在仿真中的实验证明了该方法在学习避免不良行为的样本效率。在物理机器人上进行的用户研究结果凸显了自适应反馈选择在寻求信息丰富、与用户对齐且能加速学习的反馈方面的实用性与有效性。实验视频、代码与补充材料可在项目网站获取。
研究背景方面,自主智能体的行为由其奖励函数主导,但由于真实环境复杂且奖励设计困难,智能体常基于不完整的奖励函数运行,导致未预期不良后果,即负副作用(Negative Side Effects, NSEs),例如机械臂送物时撞到桌上其他物品。传统从人类反馈学习的方法多固定使用单一反馈格式(如仅用二元认可或仅用纠正),忽视了人在不同情境下愿意提供不同粒度反馈的实际情况,既限制学习上限又增加用户负担。为平衡“加速学习所需信息量”与“降低人类付出成本”,有必要让机器人在状态空间中动态决定何时查询、以何种格式查询,同时考虑各格式的成本与可得性。为此,研究人员提出自适应反馈选择(AFS)框架,以学习规避NSEs为例,将问题建模于离散马尔可夫决策过程(Markov Decision Process, MDP)?S,A,T,R,γ?中,假设智能体拥有完成任务的主奖励RT但对NSE惩罚RN未知,借助人类反馈学习近似惩罚函数R?N,最终策略优化R(s,a)=θ1RT(s,a)+θ2R?N(s,a)。该研究发表于《Frontiers in Robotics and AI》。
关键技术方法上,研究人员构建了人类反馈偏好模型D=?F,ψ,C?,其中F为可选反馈格式集合(含Approval、Annotated Approval、Corrections、Annotated Corrections、Rank、Demo-Action Mismatch等),ψ(f)∈[0,1]为格式f被提供的概览,C(f)为对应人力成本;采用随机森林(Random Forest, RF)分类器以累积标签集pt(标签la/lm/lh对应无/轻/重NSE)训练NSE严重度预测模型q,并将预测映射为惩罚值(0/?5/?10)。AFS每轮迭代四步:按NSE发现数加权聚类状态→按权重采样关键状态Ω→基于KL散度计算各格式在Ω上的期望信息增益并选最优f*(兼顾ψ与C)→更新聚类权重与模型至预算耗尽。仿真验证使用三类概念域与网格世界试点(12人),实物验证采用Kinova Gen3 7DoF机械臂与30名参与者用户研究。
研究结果部分,引言指出单一格式反馈在效率与适应性上的局限,引出AFS动机。背景与相关工作综述了MDP下NSE定义及多模态反馈(演示、纠正、排序、语言等)已有基础,确立本文“多格式动态选型”增量贡献。问题公式化章节给出设置、假设(模型任务相关完整但NSE未知、反馈即时准确)及六种反馈格式到NSE标签的映射规则。自适应反馈选择核心章节形式化NSE模型学习(p*未知、pt累积、q由RF泛化),并分两子节展开:关键状态选择利用状态聚类权重与学习间隙(KL散度)定位高价值查询点;反馈格式选择以期望信息增益maxf ψ(f)·IG(f)?λC(f)为准绳。实验评估表明,在仿真中AFS比固定单格式(如仅Approval或仅Corrections)以更少查询数降低NSE发生率,用户研究中物理臂任务上AFS组所学R?N更接近真值且被试主观信任度更高,证明兼顾信息量与用户负担可行。
讨论与结论部分总结:AFS通过联合优化查询时机与格式,在有限人机交互预算下提升了奖励学习样本效率与安全性,且因匹配用户偏好格式而增强交互可持续性;该方法不局限于NSE,可泛化至任意不良行为惩罚学习。作者结论强调,允许机器人跨状态空间切换反馈格式(而非全局固定)是缓解采样偏置、降低认知负荷、加速策略安全化的有效途径,其实物用户研究为“自适应、用户感知的主动学习”提供了实证支撑。