向我展示你的关怀：医疗场景下机器人多模态关注行为对用户体验的影响

《International Journal of Human-Computer Studies》：Show Me Your Care: The Impact of Multimodal Attentive Behaviours for Robots on User Experience in a Healthcare Context

　　

多模态注意行为塑造用户在医疗人-机交互中的感知

• 多模态注意行为塑造用户在医疗人-机交互中的感知。
• 机器人在各模态上的注意线索表现出跨模态补偿效应。
• 组合多模态机器人注意线索并不能带来线性叠加的收益。
• 机器人发起的触觉接触能吸引视觉注意力并调节前额叶神经活动。

引言

随着机器人日益被整合进医疗环境以支持护理服务的提供，实现机器人与用户之间有效的社交沟通已成为一项关键挑战（Alves-Oliveira 等, 2015；Dautenhahn, 2007；Langer 和 Levy-Tzedek, 2021；Song 等, 2025）。目前，医疗机器人不仅被期望执行功能性任务，如医疗和临床职责（Zhu 等, 2025），还被期望以具有社会意义的方式与用户互动，同时兼顾可用性和用户体验（Bulgaro 等, 2026；Halim 等, 2022；Henschel 等, 2021）。

在人类的护理中，人际护理活动往往通过专注的举动来表达，这些举动在向被护理者提供情感支持方面发挥着关键作用（Johanson 等, 2019；Klebbe 等, 2022）。诸如身体前倾或触碰之类的动作，在护理者-被护理者的互动过程中，以高效且往往自动化的方式传递出身体上的亲近感和关注度。鉴于此类专注举动在人类护理中的重要作用，在医疗环境中不采用类似行为或许是不明智的（Klebbe 等, 2022）。

根据源自媒体方程式理论的"计算机作为社交行动者"范式（CASA），人类会不加思考地对机器人采用人与人之间的交互脚本（Reeves 和 Nass, 1996）。这表明，当医疗机器人表现出人类的专注动作时，用户可能会将这些互动与由人类护理者发起的互动做出类似的感知。然而，这一预期受到"恐怖谷"理论和期望违背效应的挑战（Thepsoonthorn 等, 2021），后者认为被视为不自然或不恰当的机器人行为可能引发不适或负面反应。这些担忧对于缩小身体距离的行为尤为突出，例如前倾姿态（Kaushik 和 Simmons, 2021）或身体接触（Yohanan 和 MacLean, 2012）。

关于这些动作在医疗机器人领域的实证证据仍然有限。迄今为止，只有一项研究在医疗情境下考察了前倾动作，结果显示注视时间增加，但在感知方面的正向结果并不显著（Johanson 等, 2019）。一些研究展示了机器人发起的接触作为情绪社会支持的潜在作用（Guo 等, 2024b；Ren 和 Belpaeme, 2024；Zhang 等, 2025）。此外，作为语音特征社会线索之一的语音音调，会显著影响用户对迎宾机器人的感知（Liu 等, 2024；Niculescu 等, 2013）。虽然语音音调更准确地说是一种注意线索而非孤立的动作，但在此我们将其视为机器人在交互中多模态行为表达的一部分。在本研究中，我们采用"多模态专注行为"这一术语，来描述一系列作为社会线索发挥作用、传达机器人对用户关注和投入的机器人动作和声音调节（Bulgaro 等, 2026）。尽管少数研究已在人-机交互情境中考察过多种专注行为（Cavedon 等, 2015；Johanson 等, 2019），但机器人发起的这些专注行为对用户体验的影响，以及这些行为相互作用的程度，仍有待系统研究。

专注行为实际上通过跨多种感觉模态提供额外信息来展现关注和照料，因此可以在更广义的多感觉整合框架内加以理解。人类的感知依赖于整合来自不同感觉通道的信息，以形成对社会信号的稳健和可靠解读（Ernst 和 Bülthoff, 2004）。跨模态对应关系表明，来自不同模态的线索并非被独立处理，而是被系统性地关联并共同解读（Calvert 等, 2004；Spence, 2011）。这些理论视角意味着多模态专注行为可能不会产生纯粹的叠加效应；相反，模态之间可能出现交互和补偿机制。尽管多模态行为的效果已被广泛研究（Su 等, 2023），但以往工作主要关注视觉线索，如注视、手势和面部表情，对触觉行为的关注相对有限（Cavedon 等, 2015；Dou 等, 2019；Mollahosseini 等, 2018；Su 等, 2023）。人-机交互中的多模态交互是提升用户体验还是仅仅增加系统复杂性，目前尚无定论，需要在特定的交互情境中仔细考察（Weiss 等, 2011）。特别是，不同的模态组合（如单模态：仅听觉；双模态：视听或听触；三模态：视听触）在塑造医疗情境中用户体验方面存在何种差异，仍不清楚。因此，采用多模态视角对于厘清不同感觉线索组合的影响、推进我们对其影响交互质量的理解至关重要。

为弥补这些空白，我们开发了八种专注行为原型（语音音调：高 vs 低 × 前倾：有 vs 无 × 触碰：有 vs 无），并在模拟的查房互动中评估其对用户体验的影响，其中一台 Pepper 机器人作为医疗助理进行脚本化对话。用户体验包括显式反应（如自我报告的感知）和隐式反应，包括行为学和生理测量（Maisto 等, 2024）。根据认知加工理论和神经科学实践，视觉注意力和脑活动可以反映信息加工过程和心智状态（??bilir 等, 2019）。为全面评估用户体验，我们使用问卷、眼动追踪和 fNIRS 技术来测量用户的感知、视觉注意力和脑部活动。结果表明，首先，来自不同模态的这三种专注行为对用户体验存在独立和联合的影响。其次，通过采用多模态视角，我们进一步揭示了多模态交互在人-机交互中的有益影响。总体而言，本研究为医疗情境中的机器人专注行为设计提供了建议，并有助于深化对多模态交互的理解。据我们所知，本研究是首次尝试从多模态视角研究机器人的专注行为，回答以下研究问题：

RQ1：语音音调如何影响用户在主观感知、视觉注意力和脑激活方面的用户体验？

RQ2：前倾如何影响用户在主观感知、视觉注意力和脑激活方面的用户体验？

RQ3：触碰如何从主观感知、视觉注意力和脑激活角度影响用户体验？

RQ4：这些专注行为（语音音调、前倾和触碰）是否共同影响用户体验？

RQ5：不同的模态组合（单模态 vs 双模态 vs 三模态）如何贡献于用户体验？机器人行为中听觉、视觉和触觉线索的组合是否导致用户感知的提升？加入更多模态是否总是更好？

章节摘要

相关工作

机器人专注行为通过多种方式表达，例如调节语音音调、近体距离和自我表露。专注行为在塑造用户体验方面发挥着关键作用，因此应关注其设计。例如，Johanson 等（2019）探讨了专注行为如何影响用户对医疗机器人的感知。然而，他们研究这些专注行为的方式是……

实验设计

在本实验室开展了一项 2 × 2 × 2 的被试内实验研究，以机器人语音音调（高音调 vs 低音调）、前倾（有前倾 vs 无前倾）和触碰（有触碰 vs 无触碰）作为独立变量。参与者与机器人互动，体验八种专注行为原型，并在每次互动后填写问卷。用户体验从三个维度进行测量：主观感知、视觉注意力……

主观感知的三因素方差分析结果

图 4 和图 5 分别展示了主观感知上的显著主效应和交互效应，并附以各条件下的均值和标准误（SEM）。重复方差分析结果如下所示。

语音音调、前倾和触碰的独立影响

我们首先分别讨论每种专注行为的主效应。这些效应反映了每种专注行为对参与者对机器人评价及其体验的独立贡献。

语音音调：关于 RQ1，结果表明语音音调显著影响用户的主观感知。具体而言，结果表明高音调语音在拟人化、喜爱度等方面的评价值显著更高……

结论

本研究使用了一组丰富的工具，测量机器人在一段简短的模拟医疗互动中展现不同交互行为的影响。我们让机器人用不同音调的语音说话，让其向病人前倾，并让其轻触病人的前臂——这些都是在真实查房互动中可能见到的行为。我们通过问卷记录参与者的主观体验，发现高音调的机器人语音和前倾动作……

伦理声明

本研究中涉及参与者所进行的所有程序均遵循机构和国家研究委员会的伦理标准，并符合 1964 年《赫尔辛基宣言》及其后续修订或类似伦理标准。研究中所有参与者均获得了知情同意。

资金来源

本工作得到了国家自然科学基金［资助号 72071035］、国家留学基金委［资助号 202406080090］以及弗拉芒 AI 研究 2 计划的支持。

利益声明

作者声明不存在需要披露的利益冲突。

数据可用性

支持本研究结果的数据可向通讯作者合理索取。

作者贡献声明（CRediT）

Chen Fang：概念化、方法论、调查、形式化分析、撰写——初稿、撰写——审阅与编辑。Fu Guo：概念化、获取资金。Meng Yu：概念化、方法论、调查。Tony Belpaeme：概念化、获取资金、撰写——审阅与编辑。

补充材料

补充材料

作者贡献声明（CRediT）

Chen Fang：撰写——审阅与编辑、撰写——初稿、方法论、调查、获取资金、形式化分析、概念化。Fu Guo：监督、获取资金、概念化。Meng Yu：方法论、调查、形式化分析、概念化。Tony Belpaeme：撰写——审阅与编辑、获取资金、概念化。

Chen Fang | Fu Guo | Meng Yu | Tony Belpaeme