结合眼动追踪技术的机器人辅助认知评估

《International Journal of Industrial Ergonomics》：Robot-assisted cognitive assessment with eye-tracking

　　•本研究提出了一个结合高精度眼跟踪技术的机器人辅助认知评估框架。机器人辅助和人工辅助的评估使用了相同的眼跟踪硬件和参数设置。这种设计使得可以直接、可控地比较机器人和人工进行的眼跟踪评估结果。研究结果表明，机器人辅助眼跟踪技术在认知筛查中是可行且被用户接受的。

引言
认知评估为评估和监测整个生命周期中的认知能力提供了一种结构化的方法。重复评估可以建立个体基线，识别可能需要进一步评估的变化，并为及时的临床干预提供信息（Fritz等人，2017；Lussier等人，2019；Sánchez-Vincitore等人，2023；Vyshedskiy等人，2022）。认知能力下降可能会影响心理健康（Invernizzi等人，2021；Morozova等人，2022）、功能独立性（Elendu等人，2023）和生活质量（V. X. Wu等人，2021），这突显了及时评估的价值。认知评估通常包括对记忆、注意力、语言和执行功能的测评（Salzman等人，2022）。常见的方法包括结构化访谈（Wright和Holliday，2007）、基于表现的任务（Goldberg等人，2010）以及神经心理学测试组合（Cullen等人，2007；Snyder等人，2011）。许多传统的评估依赖于受过培训的评估者执行标准化任务，以确保一致性和测量可靠性。在管理、记录或评分中的错误可能会影响结果，因此评估者的培训和工作流程的标准化非常重要（Kozora等人，2008）。

全球范围内，轻度认知障碍（MCI）影响了大约15.56%的50岁或以上的社区居民（Bai等人，2022）。尽管已经开发了新的认知评估方法，但像Mini-Mental State Examination（MMSE）和Montreal Cognitive Assessment（MoCA；Nasreddine等人，2005）这样的传统工具仍被广泛用于MCI筛查（Siqueira等人，2019）。这些工具通常提供的是总结性得分，而不是对认知过程的连续测量。评估还需要受过培训的人员，这导致在医院和社区环境中大规模应用时存在人员需求问题（Sakal等人，2024；Whelan等人，2022），并可能降低筛查的采用率（Cox等人，2025）。为了解决总结性得分的局限性，最近的研究开始引入神经生理学标志物（Berchio和Micali，2022；Rajakumar和Mohan，2024），如事件相关电位（Kirschner等人，2015；Wallace等人，2017）和功能性神经成像方法（Allen和Fong，2008；Ibrahim等人，2021）。这些方法可以提供认知过程的时间或空间分辨率测量，但其成本、设备要求和技术复杂性限制了它们的广泛应用。因此，仍然需要既能够敏感地捕捉连续认知过程又适合大规模低资源使用的评估方法。

眼跟踪使用专门的传感器来记录一个人看哪里、何时看以及如何看，从而提供连续、客观的注意力和视觉/认知处理测量，特别是在复杂的人机任务中（Lyu等人，2024）。近年来，眼跟踪也成为评估认知功能的一种非侵入性方式（Liu等人，2021；Oyama等人，2019；Tao等人，2020；Wolf等人，2023）。与需要语言或运动反应的纸笔任务相比，眼动提供了连续的、相对独立于语言的注意力分配、处理努力和眼球运动控制的信号（Tao等人，2020；Videman等人，2025）。例如，现代的红外和基于视频的眼跟踪器（如EyeLink 1000 Plus和Tobii Pro Spectrum）可以高时间分辨率地测量扫视、注视和瞳孔动态。在各种人群和任务中，这些指标与注意力、处理速度和工作记忆的差异相关，并能区分有无认知障碍的群体（Chan等人，2023；Opwonya等人，2022）。

眼跟踪提高了测量的敏感性，但它没有解决人员配备和工作流程的限制。这些限制促使了机器人辅助评估的发展。人工智能、传感和交互技术的进步扩展了在医疗和教育领域中社会辅助机器人的研究（Conti等人，2021；Henschel等人，2021；Riches等人，2022）。社会辅助机器人已被整合到认知和心理测量评估工作流程中（Conti等人，2021）以及治疗环境中（Riches等人，2022）。这些系统可以自动化某些评估者的任务，减少持续的人力投入，使临床医生能够专注于需要专业判断的任务。越来越多的研究探讨了社会机器人在认知和心理测量评估中的应用（Abbasi等人，2022；Chen等人，2021；Formica等人，2025；Tanqueray等人，2022；Van Patten等人，2020）。一类研究集中在像NAO这样的小型社会辅助机器人上（Abbasi等人，2022；Bogliolo等人，2024）。这些机器人支持多模态交互，并已被用于分发问卷和心理筛查任务（Bogliolo等人，2024）。例如，Abbasi等人（2022）使用NAO机器人对28名8-13岁的儿童进行了简短情绪和感受问卷（SMFQ）和修订版儿童焦虑抑郁量表（RCADS）的评估。机器人进行的评估是可行的，并发现了一些儿童报告或家长报告未捕捉到的与幸福感相关的问题，表明机器人介导的心理评估在儿童中具有潜在价值。然而，这些系统主要自动化了问卷或筛查的分发，而不是获取连续的基于工具的行为测量。

第二类研究则关注像Pepper这样的大型人形平台，它们可以通过触摸屏界面提供计算机化的认知评估。这些研究主要考察了机器人进行的认知测试是否能产生与人工测试相当的结果。Russo等人（2023）报告说，Pepper可以执行MMSE并产生与临床评估者相似的分数，且操作者的持续参与度很低。Rossi等人（2020）开发了一个基于Pepper的原型来执行MoCA的机器人版本。在专业监督下，机器人的评估结果与传统的纸笔测试结果高度一致。Formica等人（2025）直接比较了Pepper和神经心理学家执行MMSE评估的结果，而Varrasi等人（2026）比较了使用行为、工作量和生理结果的改良Trail Making Test的机器人辅助和人工辅助版本。总体而言，这些研究表明人形机器人可以执行标准化的认知筛查测试，其结果与人工评估大致相当。然而，目前尚不清楚社会辅助机器人是否能够支持眼跟踪任务，以及执行方式是否会影响眼动测量、数据质量和用户体验。

与传统的纸笔工具相比，眼跟踪评估可以提供连续的行为测量，且对语言要求较低。它们可能较少依赖于读写能力和语言熟练度，适用于那些难以进行语言测试的人群（Oyama等人，2019）。这些特点使眼跟踪适用于简短或极少需要语言的评估范式。然而，眼跟踪评估需要准备、定位、校准和数据质量检查。Nystr?m等人（2013）表明，校准策略、操作者决策、记录时长、注视方向和眼睛特征会影响准确性、精确度和可用眼动数据的比例。因此，可靠的眼跟踪评估需要包括参与者定位、校准、数据质量监控以及必要时重新校准的程序。

将眼跟踪集成到机器人辅助评估中可能会带来工作流程上的优势，但也引入了技术挑战。机器人可以执行预定义的程序并一致地提供标准化指令。当与眼跟踪器结合使用时，机器人可以标准化任务呈现和数据收集，同时减少对持续手动操作的需求。然而，眼跟踪工作流程也需要校准、定位和数据质量控制，而这些通常是问卷分发所不需要的高级步骤。尽管现代眼跟踪器可以容忍一定的自然头部运动，但尚不清楚在没有评估者干预的情况下，机器人辅助工作流程中的校准和任务执行是否能够可靠完成。直接比较匹配的机器人辅助和人工辅助的眼跟踪工作流程仍然有限。这样的比较可以确定执行方式是否会影响程序的一致性或眼动测量结果。

除了技术性能之外，机器人辅助评估还取决于管理者和接收者与系统的互动方式。对于管理者来说，机器人平台应支持可靠的远程操作、清晰的评估数据可视化（Walker等人，2023）以及评估质量的反馈。对于接收者来说，界面应该是直观的、易访问的，并且要求最低。有效的交互设计可以减少焦虑，支持参与度，并促进信任，从而可能提高任务依从性和数据解释性。关于工业人机系统的研究表明，AR/XR可视化可以支持任务指导和决策制定，尽管其有效性取决于设计（Eswaran和Bahubalendruni，2022；Eswaran等人，2023，2026；Palmarini等人，2018；Tainaka等人，2023）。这些考虑因素促使我们评估机器人辅助认知评估的技术可行性和用户体验（Suryoputro等人，2025），同时考虑自报和基于工具的人机交互测量（de Nobile等人，2024）。

两个挑战限制了可扩展的认知评估：对连续认知过程的敏感性和在资源有限、常规环境中的可行性。眼跟踪解决了第一个问题；机器人辅助可能解决第二个问题。本研究是对年轻大学生样本中机器人辅助眼跟踪评估的初步概念验证，长期目标是将这项技术适应于老年人和有认知障碍风险的人群。使用具有匹配规格和相同任务的眼跟踪系统，我们比较了机器人辅助和人工辅助的工作流程在预定义的眼跟踪和用户体验指标上的表现。鉴于系统和任务的匹配性，我们不期望两种条件下的眼跟踪测量存在系统差异。我们选择了平滑追踪任务和视觉记忆眼跟踪任务（VisMET），以评估两种不同注视行为下的工作流程：连续目标追踪和自由观看。我们研究了机器人辅助和人工辅助工作流程是否会影响（1）两个任务中的眼跟踪测量结果以及（2）管理者和接收者报告的可用性、工作量和信任度评分。我们预计机器人辅助下的眼跟踪测量结果应与人工辅助下的结果相当。对于可用性，我们预计机器人辅助会减少管理者的工作量，但对于其他用户体验结果，我们没有先前的假设，因此我们在没有特定指导的情况下进行了研究。

方法
本研究比较了机器人辅助和人工辅助进行的相同眼跟踪评估。我们比较了任务相关的注视测量结果、自我报告的工作量、可用性和管理者及接收者的用户体验。

平滑追踪任务
在平滑追踪任务中，速度增益（平均差异=0.014，FDR调整后的p=0.361，Cohen's d=0.27）和RMSE（平均差异=50.18，FDR调整后的p=0.361，Cohen's d=0.28）在两种条件下没有显著差异（图3和表2）。

VisMET
对于VisMET，我们首先比较了不同条件下的有效样本比例。左眼、右眼和双眼的有效样本比例在两种条件下没有显著差异（所有FDR调整后的p>0.436；表2）。

讨论
这项概念验证研究比较了年轻大学生样本中的机器人辅助和人工辅助眼跟踪工作流程。接收者在两种不同的管理条件下完成了认知任务。管理者和接收者还评估了可用性、工作量和信任度。两种条件使用了相同的眼跟踪模型和匹配的任务，使比较能够集中在管理流程的差异上。这些发现支持进一步评估机器人辅助眼跟踪的可行性。

结论
本研究比较了机器人辅助和人工辅助的眼跟踪工作流程。眼动和用户体验测量在两种管理方式之间没有显著差异，管理者报告在机器人辅助条件下的工作量略低。这些结果支持机器人辅助眼跟踪评估的可行性，并证明了在更广泛、更具临床相关性的群体和环境中进行进一步评估的必要性。

作者贡献声明
Zehao Huang：写作——审阅与编辑、撰写初稿、可视化、验证、软件、资源、方法论、调查、数据分析、概念化。
Xiaoting Duan：写作——审阅与编辑、撰写初稿、可视化、验证、监督、项目管理、方法论、调查、数据管理。
Lina Ma：写作——审阅与编辑、可视化、软件、资源、项目管理、方法论、调查。

利益冲突声明
作者R.W和Z.W参与了Pupil. IO眼跟踪系统的开发。作者S.Z隶属于CogniBot-XW。所有其他作者均声明没有利益冲突。

致谢
本研究得到了中国人类因素工程重点实验室下属的人因因素基金会（项目编号HKNKL2023WW01）和中国国家自然科学基金（项目编号32200890）的资助。我们感谢Ruiqing Cheng对机器人系统的技术支持。

作者名单：
Zehao Huang | Xiaoting Duan | Lina Ma | Wei Yang | Rong Wang | Gancheng Zhu | Weihua Wang | Jing Li | Zhiguo Wang | Shuai Zhang