利用可解释的机器学习方法，理解情感和认知因素对人与机器人互动中信任关系的影响

《ADVANCED ENGINEERING INFORMATICS》：Understanding the effects of emotional and cognitive factors on trust in human–robot interaction using interpretable machine learning

　　王明轩|董亮|赵宁宁|郑洪涛|王佩|陈浩|刘苏珊娜|韩婷
上海交通大学设计学院，上海200240，中华人民共和国

**摘要**
人机交互（HRI）中的信任研究长期以来一直强调认知机制，而忽视了情绪反应、认知评估和个人特质在塑造信任过程中的相互依赖性影响。尽管如此，传统的统计方法在捕捉HRI信任背后的非线性和复杂交互作用方面显得不足。这一局限性凸显了需要一种可解释的、数据驱动的方法来整合情绪、认知和个人维度。本研究提出了一种新的方法，通过结合机器学习与基于SHAP的可解释性和聚类分析来评估HRI信任。情绪反应、认知评估和个人特征被结合起来，以捕捉它们之间的非线性关系，从而更深入地理解信任是如何随着情感和认知维度的变化而演变的。SHAP和主效应分析被用来识别对HRI信任有关键影响的因素及其主要效应，而聚类分析则用于探索整合了情绪和认知维度的用户画像。结果表明，情绪、认知和个人因素共同影响HRI中的信任。情绪反应和认知评估具有非线性效应，其中情绪影响是非单调的，较高的认知评估水平能增强信任，但存在阈值和饱和模式。较强的生理唤醒对应较低的信任度，而适度的注视次数则表明信任的形成。个人特质在情绪敏感性和认知反应性上存在差异。先前的机器人使用经验以非线性方式影响信任，外向性格能增强积极情绪和安全感，而高神经质则会放大不确定性下的情绪反应性。进一步的聚类分析识别出三个以信任为导向的情绪-认知耦合用户群体：理性评估者、自信采用者和悲观者。这一发现揭示了HRI信任背后情绪-认知耦合机制的群体异质性。本研究有助于推动创建更有效、以用户为中心的机器人系统信任适应策略的发展。

**引言**
对自动化的信任是人类与自动化交互中的一个基本心理机制[1]。Lee和See（2004）将自动化信任定义为“在不确定性和脆弱性条件下，代理能够帮助实现个人目标的态度”。虽然传统范式长期以来一直强调自动化信任的认知基础，例如Hoff等人提出了一个由倾向性信任、习得信任和情境信任组成的三层信任模型，其中信任被视为认知评估和信息评估的过程[2]。然而，最近的研究越来越认识到情绪在信任形成和维持中也起着关键甚至主导作用[3]、[4]、[5]。情绪作为快速、直观的信号，能够深刻影响个人对自动化系统的态度和决策[6]、[7]。尽管对信任中的情感成分的认识日益增加，但HRI领域的相关研究直到最近才开始探索用户情绪与信任之间的复杂关系。以往的研究已经考察了自动化信任背后的情绪机制，例如Avetisyan等人（2025）发现了一种不对称的中介效应，其中信心解释了46.7%的性能-信任关系，而负面情绪的作用相对较小[8]。虽然这些研究提供了关于信任情感维度的初步见解，但多维情绪如何与HRI信任相互依赖的深层机制仍大多未被探索。HRI中的信任高度依赖于各种情境因素，例如机器人相关属性、人类相关因素和环境相关元素都会根据情境以不同方式影响信任。在这些因素中，个性特征和先前经验等个人因素在塑造HRI中信任的形成方式上起着特别重要的作用[9]。然而，关于情绪和理性评估因素如何影响HRI信任的研究，以及这些机制是否因个体特征而异，仍然有限。

在探索情绪与信任之间的关系时，传统的统计建模方法（如回归和路径分析）因其可解释性而被广泛采用。然而，这些方法依赖于线性和变量独立的假设，这限制了它们对复杂非线性关系和多因素间交互的建模能力。为了解决这些限制，机器学习技术在处理高维、异质和非线性数据方面显示出明显优势[10]、[11]、[12]、[13]、[14]，例如CatBoost[15]、随机森林[16]和XGBoost[17]在建模复杂变量依赖关系方面特别有效。尽管如此，由于内部结构的复杂性，大多数机器学习方法仍被视为“黑箱”。可解释的人工智能工具（包括SHAP[18]和LIME[19]）已被开发出来，用于揭示内部建模机制和特征效应。这些工具在人类因素领域得到了越来越多的应用，无需依赖严格的先验假设即可揭示复杂的变量关系。例如，郑等人（2024）提出了一个利用XGBoost和SHAP的可解释多类情境意识（SA）预测框架，以识别关键因素之间的因果联系[20]。在HRI信任领域，机器学习方法最近被引入来建模信任、生理信号和机器人相关属性之间的复杂关系，这是一个具有明显优势的新趋势[21]。然而，对模型可解释性的有限探索仍然限制了对HRI信任背后机制的理解，并阻碍了数据驱动发现与现有知识的整合。鉴于情绪、认知评估和个人特征之间本质上的非线性和多因素关系，将机器学习与可解释性分析相结合为这一领域的研究提供了有前景的方法。

**以往研究**
以往的研究强调人类与机器人之间的信任高度依赖于情境[22]。已经研究了任务类型[23]、[24]、机器人可靠性[25]、[26]、[27]、[28]、[29]以及个性特征[9]等因素对信任形成的影响。然而，在HRI信任研究中，缺乏系统性地捕捉不同个体和情境下信任差异的用户信任画像的研究。大多数现有研究集中在平均水平分析上，忽视了用户信任模式的异质性。特别是，结合随时间变化的情绪波动的信任画像研究较少。这种遗漏限制了捕捉信任轨迹和情绪反应的个体差异的能力，从而限制了对用户和交互场景中信任形成机制差异的深入理解。推进这一研究方向将有助于开发针对不同用户画像的个性化信任适应策略和自适应机器人行为，最终提高人机交互的质量。

**本研究**
为了解决这些问题，本研究引入了一种方法，通过机器学习和基于SHAP的可解释性分析来考察影响HRI信任的多个因素之间的关系，包括情绪反应、认知评估和个人特征。机器学习被用来建模HRI信任与情绪反应、认知评估和个人特征等多个影响因素之间的复杂非线性依赖关系。通过特征子集消融和SHAP可解释性分析，我们旨在识别影响HRI信任的关键因素，量化它们的相对贡献，并揭示不同信任水平下的非线性主效应分布。此外，还进行了聚类分析，以进一步探索群体异质性并揭示整合了情绪和认知经验维度的多个信任画像。本文有三个主要贡献：
1. 构建了一个整合情绪反应、认知评估和个人特征的机器学习模型，以捕捉HRI信任中这些因素之间的非线性交互。
2. 对最优模型进行特征子集和SHAP分析，以识别关键影响因素，检查它们在不同信任标签下的主要效应，并揭示它们的非线性和标签特定关系。
3. 可解释性分析使人们能够识别与情绪反应和认知评估维度相关的信任画像，揭示HRI信任中的群体异质性和不同的信任模式。

**论文结构**
本文采用标准组织结构。第2节回顾了相关文献。第3节介绍了整体研究流程，包括HRI实验和机器学习建模。第4节提供了结果及相应的讨论。第5节提供了结论并概述了局限性。

**相关工作**
本节分为四个小节：回顾影响HRI信任的因素、评估信任的方法、介绍机器学习作为HRI信任评估的新兴方法，以及探索现有的研究空白。

**方法**
所提出的方法包括四个主要步骤：步骤1 实验执行，步骤2 特征和标签处理，步骤3 信任评估模型开发，步骤4 结果分析，如图1所示。详细步骤如下：
步骤1 设计了一个2×2的被试内实验，在交互之前、期间和之后收集数据。然后处理收集到的数据以构建数据集。
步骤2 特征处理包括两个部分：预处理和……

**结果与讨论**
本节提供了多项分析和讨论。首先，比较了不同的分类模型，并使用表现最佳的模型进行后续分析。接下来的部分包括特征集分析、特征重要性分析、效应分析和信任组特征分析。

**局限性与未来工作**
本研究存在几个局限性。首先，相对有限的样本量和有限的任务场景范围可能会限制我们发现的普遍性和生态有效性。为了解决这个问题，未来的工作应招募更广泛的参与者群体，并涵盖更广泛的交互情境。其次，参与者群体主要由大学生组成，导致人口统计和经验多样性有限。后续研究可以涉及……

**结论**
本研究提出了一种通过结合机器学习与基于SHAP的可解释性和聚类分析来评估HRI信任的方法，整合情绪反应、认知评估和个人特征，以捕捉这些因素之间的非线性和动态关系，从而深入了解信任是如何随着情感和经验维度而演变的。特征集分析和基于SHAP的重要性分析识别了关键因素……

**致谢**
本项工作得到了中国国家自然科学基金（项目编号72471140）和国际文化创意产业研究基金的支持。