基于情感增强的持续学习方法:用于提升机器人的共情行为

《Expert Systems with Applications》:Emotion-Augmented Continual Learning for Empathic Robot Behavior

【字体: 大 中 小 】 时间:2026年01月10日 来源:Expert Systems with Applications 7.5

编辑推荐:

  情感增强学习在持续人类-机器人交互中的应用研究,系统分析了真实与预测情感标注对任务性能、遗忘抑制及鲁棒性的影响,发现情感信息在精准预测下可提升模型表现,但误差会导致性能差距,并通过不确定性处理验证其局限性,最终在现实场景中验证了情感增强框架的有效性。

  
赵旭轩|张同伟|刘思琪|季一涛|吴伟
中国科学院自动化研究所,北京,100190,中国

摘要

对于在长期、以人为中心的环境中运行的社交机器人而言,具备情感感知能力的决策制定至关重要。尽管整合情感信息已显示出潜力,但现有研究往往依赖于理想化的情感标注,或忽视了情感估计不准确以及持续学习动态的影响,导致情感增强模型的实际可靠性尚未得到充分理解。在这项工作中,我们对真实环境和持续学习场景下的情感增强学习进行了全面的实证研究。我们系统地考察了结合真实情感信息和预测情感的影响,发现情感信息平均而言可以提高任务性能,而预测误差则会引入与理想化结果之间的可测量差距。为了更好地理解这一差距,我们评估了改进的情感预测模型,并分析了它们对决策准确性和鲁棒性的下游影响。此外,我们还研究了在不确定性条件下的情感建模,强调了仅依靠不确定性感知处理在缓解性能下降方面的有限效果。除了整体和任务层面的性能外,我们还对连续任务中的遗忘现象进行了深入分析,证明了整合情感信息有助于减轻持续学习中的灾难性遗忘。这些发现还在不同的持续学习范式中得到了进一步验证,包括弹性权重巩固和基于重放的方法,其中情感增强模型相对于非情感基线表现出了一致的相对优势。最后,我们通过真实世界的人机交互实验来评估其实际应用性,展示了适度的预测改进如何转化为更具适应性的机器人行为。总体而言,本研究阐明了情感信息在何时、为何以及在何种条件下有助于学习性能和鲁棒性,并提供了关于情感增强模型在真实世界人机交互场景中实际应用的实证见解。

引言

社交机器人正越来越多地被部署在工业环境之外的各种人类环境中,包括家庭、医院、康复中心、学校和公共空间(Yang, Dario, & Kragic (2018b))。曾经局限于结构化工厂车间的机器人现在作为助手、伴侣、同事和互动伙伴出现,与人们在更加动态和社交丰富的环境中进行交流。国际机器人联合会(IFR)的数据突显了从工业领域向服务和社会领域的转变,反映了以人为中心的交互能力日益重要。在这些领域中,仅仅执行任务是不够的;机器人必须理解和响应人类情感,适应社会规范和线索,并进行有意义、具有情境意识的互动。简而言之,社交适应性和情感能力成为接受度和有效性的关键决定因素。应用领域的迅速扩展(Wu et al. (2025);自闭症教育(Lemaignan, Newbutt, Rice, & Daly (2022);抑郁症治疗(Zhang, Shen, Li, Gao, & Gu (2021);感染控制和公共卫生(Gao et al. (2021);Scassellati & Vázquez (2020);认知训练(Yuan, Klavon, Liu, Lopez, & Zhao (2021);老年人护理和痴呆症护理(Ghafurian (Hoey); Pequeno-Zurro et al. (2022);课堂辅助(Belpaeme, Kennedy, Ramachandran, Scassellati, & Tanaka (2018);Song (Deetman)))强调了社交机器人的广泛性和对社交能力行为的需求。
实现这一转变的关键机制是受共情启发的推理。在人与人之间的互动中,共情包括对他人的情感状态的理解和认知共鸣,对于建立信任、融洽关系、协调以及成功的社交结果至关重要(Sarrica, Brondi, & Fortunati (2019))。将这一概念扩展到人机交互(HRI),使机器人具备识别人类情感状态、推断意图或信念(即一种心智理论)并相应调整行为的能力,可以实现受共情启发的行为,从而可能提高接受度和合作性。因此,共情为在机器人中实现功能性辅助和真正的社交互动行为提供了一条有前景的途径(Yang et al. (2018a))。然而,尽管在情感识别、表达、人际距离和自适应控制方面取得了显著进展,但将受共情启发的特征系统地整合到机器人决策和持续学习中仍然是一个未充分探索的领域。
与共情驱动的社交机器人相关的HRI现有研究可以分为三个主要方向。首先,情感特征建模和预测得益于多模态感知(面部表情、语音语调、手势和生理信号)来推断情感(Boitel, Mohasseb, Haig, & Mist (2025); Chen, Li, Wu, Pedrycz, & Hirota (2024); Zhao, Cao, Ji, Wang, & Wu (2025))。虽然这些方法在分类或回归性能上取得了令人印象深刻的成果,但它们通常仅停留在情感识别阶段,很少将情感信息反馈到更高层次的决策过程中。其次,关于情感驱动的机器人决策和行为适应的研究表明,情感线索可以指导导航、协作和互动策略(Tong, Setchi, & Hicks (2025); Zhao & Zeng (2022); Zhao, Zeng, & Qiao (2021b))。然而,这些系统往往依赖于手工制定的规则或浅层策略更新,限制了通用性和透明度。第三,关于共情和情感心智理论(ToM)的研究强调了机器人推断用户心理或情感状态的能力(Raggioli, Cantiello, Esposito, Rossi, & Rossi (2025); Wu, Zhang, Li, & Zhou (2024); Zhao, Zhao, Zhao, Zeng, & Sun (2023b))。然而,这些努力通常仅限于短期或孤立场景,缺乏长期序列学习或系统评估共情特征如何随时间提升机器人性能(Buracchio et al. (2025); a)Fan (Zheng); Newman, Senadji, White, & Fookes (2025))。总的来说,这些局限性揭示了一个明确的研究空白:缺乏统一框架,将情感预测、共情推断和持续行为学习与跨多个任务和时间尺度的实证验证相结合。
为了解决这一空白,我们在真实和持续学习条件下对社交互动机器人中的情感增强学习进行了全面的实证研究。与之前假设可以获取完美情感信息的研究不同,我们明确考虑了不准确的预测及其对下游决策的影响。我们的方法系统地分析了真实情感信息和预测情感的影响,量化了改进的情感预测模型的好处,并描述了在不确定性条件下情感建模的局限性和敏感性。我们进一步评估了连续任务中的灾难性遗忘现象,表明整合情感特征可能有助于减轻持续学习中的遗忘,同时保持整体性能。最后,我们通过真实世界的人机交互实验验证了我们的发现,强调了情感增强学习框架在动态、社交丰富环境中的实际应用潜力和部署可能性。
总结来说,本研究做出了以下三个主要贡献:
  • •
    我们通过比较真实情感信息和预测情感,在真实条件下对情感增强学习进行了系统的实证分析,揭示了情感信息的性能优势以及情感预测错误引入的实际限制。
  • •
    我们研究了在不确定性条件下改进的情感预测和情感建模的影响,提供了关于它们对决策准确性、鲁棒性的下游影响,以及通过不确定性感知处理缓解性能下降的界限的见解。
  • •
    我们在持续学习环境中对情感增强模型进行了广泛的评估,包括对连续任务的详细遗忘分析以及在不同持续学习范式下的比较评估,并通过真实世界的人机交互实验进一步评估了其实际应用性。
  • 本文的其余部分组织如下。相关工作部分回顾了情感建模、情感驱动决策和社交机器人中共情方面的先前研究。方法部分描述了数据集、情感预测网络、持续学习设置和实验条件。结果部分展示了多个维度的实证发现,包括整体和任务层面的性能比较、改进的情感预测的影响、不确定性感知情感融合、持续学习下的遗忘分析、真实世界人机交互评估、情感特征的鲁棒性评估以及特征空间动态的可视化。讨论部分从性能提升、对噪声和结构化预测错误的鲁棒性、特征空间中的结构偏差、持续学习动态以及情感感知交互系统的实际应用意义等方面对这些发现进行了解释。最后,结论部分总结了关键见解并指出了未来工作的方向。

    相关工作

    相关工作

    理解和建模人类情感一直是情感计算和人机交互(HRI)中的核心课题。本节回顾了与我们工作相关的三个主要研究方向:(1)情感特征建模和预测,(2)情感驱动的机器人决策和行为适应,以及(3)HRI中的共情和情感心智理论(ToM)。这些领域共同为我们的研究奠定了理论和方法论基础。

    数据集

    我们使用MANNERS-DB数据集(Tjomsland, Kalkan, & Gunes (2022)),该数据集是在Unity3D仿真环境中构建的,用于生成静态客厅场景。该数据集涵盖了多样化的社交配置(例如,成人的存在、儿童、宠物)和环境属性(例如,音乐播放)。每个场景由一个29维的特征向量表示,捕捉了包括机器人动作参数、人类和动物属性、群体相关特征和环境

    整体性能比较

    图1显示了四种模型变体的整体性能比较。整合情感特征会影响预测性能,改进的程度取决于情感表示的准确性。
    Oracle-Emo模型在训练和测试期间都整合了真实情感特征,实现了最低的平均RMSE(0.603),相对于Baseline(0.681)降低了11.5%。这表明准确的情感

    讨论

    本研究系统地研究了情感特征在人机交互预测中的作用,特别关注了鲁棒性、结构效应以及在持续学习范式下的泛化能力。结果提供了几个重要见解,关于情感信息何时以及如何有助于下游性能,以及不完美情感预测所带来的局限性。

    结论

    本文从多个角度研究了情感特征整合对人机交互预测的影响,包括预测性能、对情感预测错误的鲁棒性、特征空间结构以及持续学习行为。通过广泛的实证分析,我们表明情感信息可以提高模型性能,但其有效性高度依赖于情感预测的质量及其与下游任务的匹配程度。
    我们的结果

    未引用部分

    缺少引用:表4。

    CRediT作者贡献声明

    赵旭轩:概念化、方法论、软件、监督、撰写初稿、资金获取。张同伟:数据整理、调查、软件。刘思琪:数据整理、形式分析。季一涛:形式分析、可视化。吴伟:验证、撰写初稿。

    利益冲突声明

    作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号