探索注视-手部协同交互中的协调性：为低精度眼动追踪技术设计稳健的解决方案

《ADVANCED ENGINEERING INFORMATICS》：Exploring coordination in Gaze-Hand cascaded Interaction: Designing robust solutions for Low-Precision eye tracking

　　**摘要**
基于凝视的交互技术能够实现“你所看即所得”的体验，但常常受到商用眼动追踪器空间精度低和可靠性差的挑战，导致诸如“迈达斯触碰”问题（Midas touch problem）和空间错位等使用性问题。虽然结合凝视进行粗略定位和手部操作进行精细选择的凝视-手部级联输入（gaze-hand cascaded input）提供了一种有前景的解决方案，但现有研究缺乏对这些交互模式之间协调机制的系统性探索，尤其是在低精度追踪条件下。为了解决这一不足，我们确定了在低精度追踪下影响凝视-手部协调的关键设计因素，并将它们归纳为一个新的设计空间，包括键盘交互模式（Keyboard Interaction Mode）、凝视-手部切换模式（Gaze-Hand Switching Mode）和凝视-触摸确认模式（Gaze-Touch Confirmation Mode）。基于这一设计空间，我们实现了八种凝视-手部级联文本输入方法，并在真实的低精度任务中评估了它们的稳健性。这些方法使用桌面眼动追踪器和标准键盘-鼠标设备实现，通过20名参与者的控制实验进行了严格评估。定量结果显示，采用隐式凝视-手部切换和按压确认机制的方法（例如方法2：直接-隐式按压，Method 2: Direct-Implicit Press）具有更高的输入速度，并且被感知为更直观；而基于对齐的方法（例如方法3：直接-显式对齐，Method 3: Direct-Explicit Align）尽管速度快，但错误率和认知负担较高。定性分析进一步强调了基于对齐的方法所带来的严重认知负担。最终，我们提出了三种在低精度追踪下实现凝视-手部级联文本输入的设计原则（时间分离、分组选择缓冲区和安全区块），为设计鲁棒的多模态界面提供了实用指导。

**引言**
基于凝视的交互技术被视为实现“你所看即所得”体验的有前景的方法[1][2]，并且已被广泛应用于各种场景[3][4]。例如，在辅助技术中，眼动交互显著提高了行动障碍者的自主性和生活质量[5]，特别是使他们能够控制轮椅[6][7]和机器人手臂[8]来完成日常生活活动。类似的应用还包括作为视障者的“第三只眼”的支持性可穿戴设备[9]，以及自闭症谱系障碍的自动化诊断[10]，展示了这些系统在临床和辅助场景中的多样化潜力。此外，在其他场景中，眼动交互提供了替代的无手控制或增强交互方式，例如通过凝视手势来控制缩放、平移和倾斜手术[11]或远程操作虚拟车辆[12]。

然而，尽管眼动追踪技术取得了进步，但商用眼动追踪器（如用于游戏或桌面系统的设备）仍然存在空间精度低和其他限制，如随时间性能下降[13][14][15]。这些感知不确定性从根本上挑战了可靠多模态协调系统的设计，表现为两个核心交互障碍（如图1所示）：“迈达斯触碰”问题[1][2][16]，即不由自主的眼球运动（如眨眼或自然的眼球抖动）导致意外交互，以及持续的空间错位[15]，从而干扰精确的目标捕捉。这些限制凸显了一个基本的设计挑战：如何在感知输入本质上存在噪声和不可预测性的情况下创建可靠的交互系统。

在此背景下，我们专注于交互设计如何在消费级眼动追踪器常见的精度限制下支持用户。为了克服这些追踪限制，“凝视-手部级联输入”方法作为一种突出且实用的技术方案应运而生（如图2所示）。该方法通过将选择过程分为两个独立阶段，利用眼动进行快速、粗略的目标定位，然后通过手动输入（如手势或按键）进行精确细化和目标确认。这种协同协调有效地补偿了空间偏移，即使在低精度追踪条件下也能提供稳健的交互范式。然而，现有研究通常将这些协调选项隐含地嵌入孤立的设计中，缺乏系统性的框架来比较它们的稳健性。

商用眼动追踪器经常出现空间偏移和漂移，使得在精确任务中实现可靠的凝视-手部协调变得困难。先前的研究探索了凝视-手部级联技术，如MAGIC定位[17]及其变体EyePoint[18]，这些技术利用手部在粗略凝视定位后进行精细化操作。然而，这些方法通常将协调选项隐含地嵌入孤立的设计中，缺乏系统性的框架来：1）从现有技术中识别关键协调因素；2）在真实的低精度条件下系统地比较它们的稳健性；3）为设计师提供通用的协调指南。这一空白阻碍了适用于实际应用的可靠凝视-手部系统的开发。

为了解决这一空白，我们提出了两个研究问题：
**RQ1：**在低精度追踪下影响凝视-手部协调的关键设计因素是什么，它们如何被构建成一个设计空间？
**RQ2：**这个设计空间的哪些实例在真实的低精度文本输入任务中表现出稳健的性能？

为了评估这些协调机制，我们选择了文本输入作为验证任务。文本输入要求凝视和手部动作之间持续、高频的交替，以进行离散目标选择，这使其成为放大低精度追踪挑战的理想且具有挑战性的测试平台。虽然这项任务高度代表了更广泛的视觉-手动界面（如屏幕菜单或辅助通信系统），但我们的主要目标并非优化文本输入本身。相反，我们利用它来系统地揭示在眼动追踪输入存在噪声和空间偏移时哪些凝视-手部协调策略仍然稳健和高效。

本文通过图3中概述的研究路线图来解决上述问题。我们首先定义了问题背景（如“迈达斯触碰”问题、空间错位），然后系统地探索了一个三维设计空间——键盘交互模式（直接 vs. 分组）、凝视-手部切换模式（显式 vs. 隐式）和凝视-触摸确认模式（按压 vs. 对齐），从而得到了8种方法。我们的贡献有三个方面：
1. 我们为低精度眼动追踪构建了一个以协调为导向的设计空间，将先前的工作综合为三个核心维度：键盘交互模式、凝视-手部切换模式和凝视-触摸确认模式。这些维度共同描述了在低精度条件下凝视-手部交互是如何协调的，包括凝视的操作位置、手动控制的接管时机以及选择的最终确认方式。
2. 我们将这个设计空间具体化为八种凝视-手部文本输入方法，系统地涵盖了这些维度的所有组合，并在商用桌面眼动追踪器和标准键盘-鼠标设备上实现了这些方法，以反映真实的低精度条件。
3. 我们进行了混合方法研究，定量和定性地比较了这些方法，并从结果中的性能和工作负载模式中得出了三种在存在凝视偏移和追踪噪声的情况下构建稳健凝视-手部系统的设计原则。

本文的其余部分组织如下：第2节回顾了有关凝视-手部交互和低精度缓解技术的相关工作；第3节介绍了我们的概念设计空间和八种具体实现的方法；第4节详细介绍了实证研究，包括参与者、设备、程序和分析方法；第5节报告了定量和定性结果；第6节讨论了关键发现、设计挑战和得出的原则；最后，第7节总结了本文的局限性和未来方向。

**凝视-手部交互的理论基础与演变**
凝视-手部级联输入的设计深深植根于人类感觉运动系统的协调原理。一个基本的框架是Guiard的双手控制模型[19]，该模型提出了一个非对称的劳动分工，其中非主导模式（凝视）设定空间框架，而主导模式（手）执行精细动作。这得到了凝视-动作耦合（Gaze-Action Coupling）的支持，该理论认为眼睛通常在目标捕捉前100-300毫秒内引导手动动作[20]。

**八种凝视-手部输入方法的设计与实现**
为了系统地构建凝视-手部级联输入的设计空间，我们关注三个基本问题：（1）凝视相对于键盘布局的作用位置；（2）手部输入何时从凝视中接管；（3）最终确认是如何触发的。这些问题直接对应于我们的三个设计维度（键盘交互、凝视-手部切换和凝视-触摸确认），这些维度是从我们对25种现有技术的系统回顾中得出的最显著结果。

**实验设计的合理性**
我们的评估方法旨在系统地探究在真实低精度追踪约束下的凝视-手部协调，优先考虑稳健性而非绝对速度。选择文本输入作为验证任务，是因为其在凝视定位和手动选择之间的持续、高频交替构成了一个具有挑战性的压力测试。如果某种协调策略在这种密集场景中表现出稳健性，那么它对更广泛的多模态界面具有很高的普适性。

**结果**
为了解决RQ1——识别我们设计空间的哪些实例表现出稳健的性能——本节报告了从480次试验中收集的定量指标和主观工作负载数据。

**讨论**
本节讨论了我们的发现，以回答RQ2，并解释了为什么某些方法在低精度追踪下表现更好。通过将这些性能结果与我们的原始设计维度（RQ1）联系起来，我们确定了用户行为和疲劳背后的核心原因，并提出了构建稳健且用户友好的凝视-手部级联输入系统的关键设计原则。

**研究结果与关键设计原则**
我们的研究动机是为了在消费级眼动追踪器常见的精度限制下实现可用且稳健的交互。我们系统地探索了凝视-手部级联交互的设计，重点研究了如何设计协调机制以创建低精度眼动追踪的稳健解决方案。通过对八种方法的实证评估，我们证明了交互流畅性高度依赖于...

**作者贡献声明**
Jingze Tian：撰写——审稿与编辑、撰写——初稿、软件开发、方法论设计、调查、形式分析、概念化；
Yiyan Wang：撰写——审稿与编辑、调查；
Jinchun Wu：撰写——审稿与编辑；
Can Liu：撰写——审稿与编辑；
Yafeng Niu：撰写——审稿与编辑、监督、项目管理、资金获取。

**利益冲突声明**
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

**致谢**
本研究得到了国家自然科学基金（编号72571059、72171044）的支持。