“根据比例对齐”:一种用于单手操控3D物体的模式切换技术,结合了扩展现实中的视线-手-物体对齐功能

《Proceedings of the ACM on Computer Graphics and Interactive Techniques》:Align-to-Scale: Mode Switching Technique for Unimanual 3D Object Manipulation with Gaze-Hand-Object Alignment in Extended Reality

【字体: 大 中 小 】 时间:2026年05月04日 来源:Proceedings of the ACM on Computer Graphics and Interactive Techniques

编辑推荐:

  摘要 随着扩展现实(XR)技术迅速变得像今天的移动设备一样普及,支持单手操作对于XR来说变得至关重要。然而,目前普遍使用的“注视+捏合”交互模型只能部分支持单手操作,用户可以用一只手选择、移动和旋转物体,但缩放通常需要使用双手。在这项工作中,我们利用注视和手之间的空间对齐作为模

  摘要

随着扩展现实(XR)技术迅速变得像今天的移动设备一样普及,支持单手操作对于XR来说变得至关重要。然而,目前普遍使用的“注视+捏合”交互模型只能部分支持单手操作,用户可以用一只手选择、移动和旋转物体,但缩放通常需要使用双手。在这项工作中,我们利用注视和手之间的空间对齐作为模式切换的依据,以实现单手捏合缩放。我们设计并评估了几种适用于单手缩放的技术,并在复合平移-缩放任务中评估了它们的可用性。我们的研究结果表明,所有提出的方法都能有效地实现单手缩放,但每种方法都有其独特的优点和权衡。为此,我们制定了设计指南,以支持未来的3D界面和单手操作。我们的工作有助于使XR中的眼手3D交互更加便携、灵活和易于使用。

图1. 我们提出了一种通过基于注视-手-物体对齐的模式切换来实现单手物体操作的方法。当手、注视和虚拟物体不对齐时,激活基于注视+捏合的平移模式(A-左)。另一方面,当手、注视和物体在视线范围内对齐时(A-中),激活缩放模式(A-右),并使用单手缩放手势(B-左),通过控制参数来计算缩放因子(B-中)。利用所提出的注视-手-虚拟物体对齐策略(B-右),我们可以仅用一只手执行所有操作功能。

1 引言

随着扩展现实(XR)和基于眼镜的形式因素(如Meta Ray-Ban Display、Snap Spectacles和XReal Pro)的出现,研究人员和实践者正在设想它们在日常场景中的使用[Grubert等人2016;Manakhov等人2024;Rasch等人2025]。为了实现这一目标,一个关键的能力是仅用一只手进行操作[Karlson等人2008]。根据微软的Persona Spectrum,对于上肢的永久或暂时性损伤,以及诸如父母抱婴儿等情境性损伤,单手操作是必不可少的[Microsoft 2016]。在日常生活中,单手操作也很常见,例如在使用笔进行多任务处理、带着包移动,或者简单地持有杯子等日常物品[Karlson等人2008;Ng等人2013]。因此,当存在传统的双手或多手指方法时,人们已经探索了替代的单手或单指技术[Boring等人2012;Esteves等人2022;Holman等人2013]。鉴于可穿戴设备的特性[Pascoe等人2000],对替代单手操作的同样需求也适用于XR。

然而,当前XR中的单手控制仍然有限。为了操作XR用户界面(UI),设备越来越多地支持使用注视作为快速指向机制,并结合捏合手势来操作物体。用户通过注视物体并用食指和拇指进行捏合来选择和移动物体。同样,物体的旋转默认也支持单手操作,通过旋转手来实现。相比之下,要缩放物体,用户需要用双手捏合来改变它们之间的距离。这是先前科学研究中提出的原子级旋转-缩放-平移(RST)任务的标准模型[Chatterjee等人2015;Pfeuffer等人2017],例如在Apple Vision Pro XR头戴设备中使用的模型。然而,对于基本缩放任务,如调整窗口或图像的大小,以及地图中的缩放,目前还没有单手控制的默认选项。

因此,我们探索了一种模式切换方法“对齐到缩放”,该方法利用眼手空间协调来实现XR中的单手操作。其思想是在手和注视对齐时激活缩放模式(图1(A-右)),当它们分离时取消激活(图1(A-左))。这一想法受到了用于选择的注视-手对齐概念的启发[Lystb?k等人2022],我们将其应用于一个框架中,其中对齐状态作为从平移-旋转到缩放的模式切换提示。主要优点是,用户可以用同一只手完成整个操作,实现完全的单手操作。

主要研究问题是用户如何使用“对齐到缩放”来进行单手缩放和模式切换。我们通过结合手势类型、注视-手对齐策略和控制参数,设计了四种单手缩放技术。对于缩放手势,我们采用了熟悉的捏合-缩放(改变拇指和食指之间的距离)和推拉(来回移动手)(图1(B-左))。其次,我们研究了用于稳健模式切换的对齐策略(例如,重叠、角度分散和捏合)(图1(B-右))。这些条件在一个平移-缩放任务中进行了研究,用户首先移动物体,然后切换模式并缩放目标。

我们的结果表明,尽管从双手操作切换到单手操作会带来性能成本,但参与者能够理解和执行单手操作和基于对齐的模式切换。每种技术在稳健的模式分离、缩放精度和感知直观性方面都有优缺点。在这里,我们强调与双手缩放基线的比较并不是为了超越它,而是为了提供另一种单手操作的定性优势。基于这些结果,我们根据用户环境和任务制定了选择最合适的单手缩放手势、对齐策略和控制参数的设计指南,并提出了改进的潜在方向。此外,我们在GitHub上开源了我们的实现。我们的贡献如下:

• 我们提出了将注视和手作为模式切换提示的交互方式。通过扩展熟悉的缩放手势,我们为XR中的单手操作提供了另一种单手缩放方式。
• 我们进行了一项用户研究,评估了这些技术在平移-缩放任务中的表现,揭示了模式切换和缩放性能以及感知直观性之间的权衡,以及从双手操作切换到单手操作的性能成本。
• 我们提供了指导这些技术适用于实际用例的指南。

2 相关工作

2.1 XR手部交互的模式切换技术

众所周知,双手模式切换是高效的,因为它采用了非主导手提供模式切换提示,而主导手执行主要任务的分工[Guiard 1987]。例如,举起非主导手[Kim等人2014;Tan等人2013;Vatavu 2013],做出手势[Hayatpur等人2019;Kim等人2018],或者用它触摸身体部位[Hayashi等人2014;L?cken等人2012;Walter等人2013]。对于单手模式切换,建议使用不同的手势[Freeman等人2012;Hayatpur等人2019;Kim等人2025b;Vogel和Balakrishnan 2005],用不同的手指进行捏合[Shi等人2024],以及移动或旋转手[Smith等人2019]。Surale等人比较了基于VR的手部模式切换,并报告说双手模式切换的错误率更低。他们还发现,用不同的手指进行捏合是一个有前途的选项,而用于模式切换的独特手势会导致用户困惑[Surale等人2019]。然而,他们的实验仅限于单一任务类型,即线条绘制,缺乏关于单手模式切换是否也能支持不同操作模式(包括缩放)的实际见解,而这正是我们旨在探索的。

这些基于手的模式切换也会随着手势数量和复杂性的增加而增加认知负担[LaViola Jr等人2017]。因此,人们尝试引入新的输入方式,包括脚[Velloso等人2015]、声音[Bolt 1980]、头部[Shi等人2021]或外部工具[Kim等人2023;Stoakley等人1995]。在这项工作中,我们关注注视,这是XR中常见的输入方式。基于最近提出的在3D空间中进行注视-手对齐作为交互提示的工作[Lystb?k等人2022],这种方法已应用于UI[Lystb?k等人2022;Wagner等人2023]、区域选择[Shi等人2023]和远程物体访问[Liu等人2025]。如表1所示,我们的基于对齐的模式切换是首次尝试将注视和手结合起来以实现单手缩放。

2.2 XR中的单手物体操作

单手操作可以实现多任务处理[Boring等人2012;Li和Fu 2013],减少注意力负担[Karlson和Bederson 2007;Pascoe等人2000],并降低接受度和可访问性的障碍[Serrano等人2014;Yamagami等人2022]。然而,当前的XR缩放是通过改变双手之间的距离来实现的[Lee等人2024;Pierce等人1997;Song等人2012],基于“拉伸和挤压”的隐喻[Mendes等人2019;Van Dam 1997]。

在单手缩放的情况下,由于人们倾向于使用对称的拇指-食指运动来调整大小[Brouet等人2013],因此在2D UI中采用了捏合-缩放(PTZ)[Avery等人2014;Hinckley等人1998;K?ser等人2011;Malacria等人2010]。然而,当PTZ应用于注视+捏合框架时,可能会发生手势误分类,将完整的捏合手势与PTZ混淆。为了避免这种情况,Dewitz等人使用非主导手进行捏合来激活PTZ,使交互变为双手操作[Dewitz等人2021]。另一种选择是“推拉”手势,涉及来回移动手[Büschel等人2019;Nancel等人2011;Stellmach等人2012;Yoo等人2010]。Stellmach等人通过抬起非主导手来实现它[Stellmach等人2012],而Yoo等人要求用户在执行推拉手势时做出特定的手势[Yoo等人2010]。双捏合手势也被用于缩放,而普通捏合手势用于平移[Büschel等人2019],但双捏合仅与推拉兼容,而不与PTZ兼容,因为它需要拇指和食指接触。

在表1中,我们比较了之前支持这些单手手势的模式切换方法。基于手位置/旋转的模式切换是唯一同时兼容这两种方法的方法。Shi等人使用手腕旋转来切换选择模式;然而,这在物理上不太舒适[Shi等人2024]。Smith等人研究了在平移任务中的基于手深度的切换,这被证明是最快的,但也是最不准确的[Smith等人2019]。因此,在这些方法的基础上,我们采用注视-手对齐概念作为模式切换,以在XR中实现这些直观的单手操作。由于模式切换主要指的是隐性的提示而不是显式的视觉UI[Raskin 2000],同时也考虑到其视觉上的干扰性[Guimbretiere和Winograd 2000;Kurtenbach和Buxton 1994],我们没有考虑基于视觉UI的单手操作,如3D边界框[Microsoft 2024]。

表1. 模式切换

单手操作

手势兼容性

注视 & 手

PTZ

推拉

非主导手

-- ? ? -

[DeWitz等人2021;Stellmach等人2012]

独特手势

[Hayatpur等人2019;Yoo等人2010]

? -- ? -

不同手指捏合

[Shi等人2024;Surale等人2019]

? -- ? -

手位置/旋转

[Shi等人2024;Smith等人2019]

? - ? ? -

双手缩放

[Lee等人2024;Song等人2012]

---- ?

双捏合

? -- ? -

[ Büschel等人2019]

对齐到缩放

? ? ? ? ? -

模式切换(我们的)

比较对齐到缩放与之前的方法。这些方法根据它们对单手操作的支持、不同模态的整合以及与缩放手势的兼容性进行了分析。?表示模式切换支持该维度,而-表示缺乏支持。

3 单手物体操作的设计空间

单手操作的设计空间涉及三个设计因素:手势类型、对齐策略和控制参数(图2)。对齐策略决定了注视、手和物体之间的对齐,而手势类型和控制参数被选为与缩放交互相关的代表性因素[Nancel等人2011;Schubert等人2023]。结合这些因素,我们得出了四种交互方式:PTZ-区域、PTZ-角度、PTZ-范围和推拉-深度。所有参数都是通过试点测试选择的,并在表2中详细说明。所有后续提到的变量都指这个表中的变量。为了可重复性,我们在GitHub上开源了实现。

图2. 单手缩放交互的设计空间。我们结合缩放手势类型、对齐策略和控制参数,得出了四种交互方式:PTZ-区域、PTZ-角度、PTZ-范围和推拉-深度。我们选择了两种单手缩放手势:捏合-缩放(PTZ)(A-1)和推拉(A-2)。还测试了三种用于模式切换的注视-手对齐策略:立体视图区域重叠(紫色矩形区域,B-1)、注视-物体和注视-手之间的角度分散(青色角度,B-2),以及当注视、手和物体对齐时执行的捏合手势(B-3)。(C)每种输入分别用紫色、蓝色、绿色和橙色表示用于计算缩放参数的控制参数。

3.1 手势类型

捏合-缩放(PTZ)。PTZ手势是2D UI中常见的单手缩放手势。增加拇指和食指指尖之间的距离会使物体放大,而减小距离会使物体缩小(图2(A-1))。然而,由于缺乏一种稳健的模式切换方法来区分PTZ和用于选择或平移的普通捏合手势,它尚未在XR中被采用。因此,我们提出使用注视-手对齐作为模式切换提示;当对齐时,拇指和食指的移动映射为缩放,当不对齐时,它们的移动将被解释为普通捏合。

推拉。来回移动手相当于将物体推远以使其变小,或将它拉近用户的身体以使其变大(图2(A-2))。与PTZ不同,这种手势兼容单手操作的手势模式切换(表1中的独特手势、不同手指捏合或双指捏合)。因此,我们比较了这两种手势,以探索手势的直观性与模式切换的稳健性之间的权衡。

3.2 对齐策略
对齐策略表示用于确定手是否与视线和物体对齐的提示类型。我们设计了三种变体来区分正常模式和缩放模式。
- **重叠**:我们采用了基于重叠的对齐方式(图2(B-1)),与PTZ手势类似。当注视的物体与立体视图区域重叠时(该区域由每只眼睛的拇指和食指指尖投影形成的矩形定义),系统会触发缩放模式。我们计算物体覆盖了视图区域的多少比例,反之亦然。如果任一比例超过其重叠阈值,系统即认为对齐成功。立体视图区域用紫色矩形表示,而重叠部分则用视图区域内的紫色填充表示(图2(B-1))。
- **角度分散**:这是一种传统的视线-手部对齐提示(Lystb?k等人,2022年)。分散度通过视线光线与视线-手部向量之间的角度来衡量。当角度低于缩放模式进入阈值(图2(B-2)中的青色角度)时,缩放模式被激活;缩放模式退出阈值设置得高于进入阈值,以防止意外退出。
- **捏合辅助**:我们采用了捏合辅助的视线-手部对齐方式(图2(B-3),作为基于手势的模式切换的代表性方法(Surale等人,2019年)。当用户在注视时抬起手并进行捏合动作,系统会触发缩放模式进入。然后通过前后移动手来调整缩放比例。如果没有进行对齐动作,则触发平移模式。对于缩放模式的进入和退出,使用了与角度分散相同的阈值。

3.3 控制参数
缩放因子是一个乘数,用于确定物体大小相对于其原始大小的变化程度。缩放因子通过新大小与初始大小之比计算得出,公式为:st = s0 × It / I0。其中,s0是缩放模式开始时的物体大小,It是时间t时的当前输入值,I0是缩放模式开始时的初始输入值。这里的“控制参数”指的是用于计算缩放因子的输入值。

通过提出立体视图区域(图2(C-1)和角度作为控制参数,我们探索了一种新的缩放方式,这种方式受到拇指和食指指尖间距以及手部深度的影响。用于基于重叠的对齐的同一立体视图区域也被重新用作控制参数。缩放因子的角度指的是从视线原点到拇指和食指指尖的两个向量之间的角度。随着手指间距的增大或手部向深处移动,重叠区域和角度都会增加,从而导致放大;相反方向则导致缩小。我们还包含了在2D PTZ中常用的“仅间距”作为控制参数(图2(C-3))。对于推拉式缩放,我们将手部深度作为控制参数(图2(C-4))。手部深度定义为头部到手的垂直距离。为了防止输入噪声并确保舒适的移动范围(de la Fuente和Bix,2010年),控制参数被限制在每个输入的最小值和最大值之间。

表2. 设计参数

| 技术 | 参数值 |
|------------|-----------------------------------|
| 对齐策略:重叠 | PTZ-区域:重叠阈值 | 最小25%的立体视图区域或至少15%的物体被对方覆盖 |
| 对齐策略:角度分散 | PTZ-角度:-间距 | |
| | 推拉式-深度 | |
| | 缩放模式进入阈值 | 15° |
| | 缩放模式退出阈值 | 17° |
| 控制参数:PTZ-区域 | 最小/最大夹持范围 | 0.1%,100% |
| | PTZ-角度 | 3°,40° |
| | 推拉式-深度 | 0.01米,0.15米 |
| 双手操作 | 0.01米,0.8米 |

4. 用户研究
4.1 任务设计
我们进行了within-subjects设计来评估交互效果。每次试验要求参与者首先将虚拟物体平移到指定位置,然后切换到缩放模式,并调整物体大小以匹配目标尺寸。我们的分析重点关注模式切换事件:从平移模式进入缩放模式,以及从缩放模式退出到空闲状态。由于平移模式的退出是在立即释放捏合动作时发生的,因此未被纳入分析。旋转任务也被排除在外,因为它与平移模式属于同一交互方式(Mendes等人,2019年),不需要明确的模式切换。像Virtual Hand [LaViola Jr等人,2017年]和Gaze+Pinch [Pfeuffer等人,2017年]这样的标准框架也将这两种任务合并为一个模式。

研究中有三个独立变量:5种技术(包括基线)、4个目标位置(上、下、左、右)和4个目标缩放比例(×0.4、×0.67、×1.5、×2.5)。我们将双手操作缩放作为缩放和模式切换的相关基线,因为非主导手的使用也被频繁建议作为模式切换的提示(Ruiz等人,2008年;Surale等人,2019年)。一个会话包含16种目标缩放比例和位置的组合,参与者重复进行了三次会话,第一次会话作为练习。因此,分析的总试验次数为160次(5种技术×4个目标缩放比例×4个目标位置×2次会话)。为了防止学习效应,技术的顺序在参与者之间进行了随机分配。

4.2 实施
研究环境使用Unity 2022.3.39f1开发,并配备了Varjo XR-3头戴显示器(90Hz,115°视场角)和眼动追踪器(200Hz)。我们使用了Ultraleap SDK的手部追踪数据,并通过1�滤波器进行了平滑处理(Casiez等人,2012年),参数根据Wagner等人(2024年)的经验设置为fcmin=1.0和β=90。遵循之前的研究(Kim等人,2025a;Pfeuffer等人,2017年),我们还采用了物体轮廓颜色的变化作为当前模式的指示:平移模式为橙色,缩放模式为黄色,注视时为白色。

图3. 用户研究概览。参与者操纵白色球体以匹配半透明蓝色球体的位置和大小。参与者首先将白色球体平移到蓝色球体方向。当切换到平移模式时,白色球体的轮廓变为橙色(A)。然后,参与者进入缩放模式。当白色球体的大小达到目标尺寸时,轮廓颜色变为黄色(B-左)。当白色球体的大小达到目标尺寸时,它变为不透明的蓝色,表示参与者应退出缩放模式(B-右)。当参与者退出缩放模式时,试验结束。

4.3 程序
我们招募了20名参与者(平均年龄24.85岁,标准差3.08岁,7名女性),且没有人报告会影响任务执行的视觉或运动障碍(例如色觉缺陷)。该研究获得了机构审查委员会(IRB)的批准,参与者获得了15美元的报酬。在签署同意书后,我们向参与者介绍了交互方式和任务内容,持续15分钟。对于每种技术,参与者先进行一次练习会话,然后是两次主要会话,每次会话包含相同数量的试验。每次主要会话后都有主观评价和5分钟的休息时间。所有会话结束后,参与者对五种技术进行了评分,并接受了简短的访谈。

在主要会话中,参与者操纵白色球体以匹配蓝色球体的位置和大小(图3)。两个球体都位于2米深度处。白色球体位于中心位置,而蓝色球体在四个目标方向中的一个方向上偏移了35°。白色球体的直径为14°,蓝色球体被缩放到四个目标尺寸之一。

参与者首先从平移任务开始(图3(A))。他们使用Gaze+Pinch方法(Pfeuffer等人,2017年)将白色球体平移到蓝色球体的位置。当球体中心距离目标位置在0.15米以内时,系统会自动对齐并开始缩放任务。这种自动对齐功能确保了参与者控制的白色球体与表示目标大小的蓝色球体之间的中心对齐。然后,参与者使用每次会话分配的不同技术开始缩放白色球体(图3(B-左))。当球体达到目标尺寸时,白色球体的颜色变为蓝色(图3(B-右)),这表示参与者应退出缩放模式并进入下一个试验。我们认为当白色球体和蓝色球体的直径差异小于0.1时,目标尺寸就达到了。

4.4 评估指标
我们有两种错误类别:模式切换错误和缩放错误。模式切换错误分为平移模式和缩放模式的进入错误。进入错误是指切换到与当前任务不符的模式,包括将平移模式的捏合手势误判为PTZ手势。具体来说,在平移模式下,如果系统错误地切换到缩放模式,则记录为进入错误;在缩放模式下,如果参与者未能达到目标尺寸,则记录为缩放错误。错误率是通过平均每次试验的错误次数来计算的(Surale等人,2017年;2019年)。我们还通过记录所有错误试验来计算总体模式切换错误率,而不区分错误类型。我们将错误率转换为百分比,百分比越接近100%,表示犯该错误类型的可能性越大。

我们还测量了进入模式的时间,即从空闲状态转换到当前任务对应模式的持续时间。对于缩放性能,我们分析了退出缩放模式的时间,即从缩放模式返回到空闲状态的持续时间。此外,我们还测量了缩放差异,即退出缩放模式后的最终物体大小与目标尺寸之间的偏差。主观评估使用了NASA任务负荷指数(NASA-TLX)[Hart 2006]、我们自己的可用性问卷以及对技术的偏好排名。我们使用了与之前XR注视实验相同的7点刻度的NASA-TLX(Wagner等人,2023年;Yu等人,2021年)。

总体模式切换错误率(从平移模式和缩放模式的进入错误)以及每种任务的进入错误率和时间被用来评估模式切换的稳健性。缩放错误率、缩放差异和退出缩放模式的时间被用来评估缩放性能。

5. 结果
虽然所有试验都被纳入了错误率分析,但完成时间和缩放差异分析排除了未能达到目标尺寸的试验。由于跟踪丢失或超出平均任务完成时间3个标准差以上的试验,我们移除了50次试验(占1.8%)。Shapiro-Wilk检验表明数据分布非正态;因此,我们使用了Aligned Rank Transform(ART)[Wobbrock等人,2011]进行了非参数双向重复测量ANOVA,以技术和目标尺寸作为within-subject因素。对于显著效应,我们使用ART-C程序[Elkin等人,2021]进行了事后成对比较,并进行了Holm校正。为了简洁起见,我们仅在交互效应显著时报告同一技术内的显著配对,并在图中同时展示技术和技术×目标尺度的交互效应,以提供概览。详细结果见补充材料。

图4. 模式切换性能的结果。(A) 不同技术的整体模式切换错误率。整体模式切换错误包括翻译模式和缩放模式的错误。接近100%的错误率表明模式激活错误更频繁。(B) 不同技术的模式切换错误率比例。单次试验中可能发生多种错误类型。(C) 从进入翻译模式到完成模式切换的平均时间。(D) 进入缩放模式期间的平均模式切换时间。显著性水平表示为*p <.05, **p <.01, ***p <.001;误差条代表标准误差。

5.1 模式切换性能
5.1.1 整体模式切换错误率
整体错误率仅受技术因素的显著影响(F3614=23.0, p<.001, ηp2=.20)(图4(A))。事后检验显示,双手缩放(M = 20.5, SD = 17.5)的整体模式切换错误率低于PTZ-Angle(M = 42.7, SD = 26.5; t(361) = ?7.58, p <.001, d = 0.80)、PTZ-Span(M = 39.8, SD = 25.1; t(361) = ?7.03, p <.001, d = 0.74)和推拉缩放(M = 34.2, SD = 22.8; t(361) = ?5.26, p <.001, d = 0.55)。PTZ-Area(M = 24.2, SD = 21.5)的整体模式切换错误率也低于PTZ-Angle(t(361) = ?6.18, p <.001, d = 0.65)、PTZ-Span(t(361) = ?5.63, p <.001, d = 0.59)和推拉缩放(t(361) = ?3.86, p <.001, d = 0.41)。
5.1.2 翻译模式的进入错误率
技术是唯一的显著因素(F3614=38.5, p<.001, ηp2=.30)(图4(B))。事后比较显示,PTZ-Angle(M = 28.4, SD = 27.2)和PTZ-Span(M = 29.1, SD = 25.6)的错误率显著高于其他所有技术。PTZ-Angle的错误率显著高于基线(M = 4.5, SD = 8.0; t(361) = 9.60, p <.001, d = 1.01)、推拉深度(M = 1.6, SD = 16.7; t(361) = ?6.04, p <.001, d = 0.64)和PTZ-Area(M = 14.1, SD = 18.2; t(361) = 5.52, p <.001, d = 0.58)。PTZ-Span的错误率也显著高于基线(t(361) = 9.60, p <.001, d = 1.01)、推拉深度(t(361) = 6.86, p <.001, d = 0.72)和PTZ-Area(t(361) = 6.33, p <.001, d = 0.67)。此外,基线的错误率显著低于PTZ-Area(t(361) = ?4.08, p =.001, d = 0.43)和推拉深度(t(361) = ?3.56, p <.001, d = 0.37)。
5.1.3 缩放模式的进入错误率
技术的主效应显著(F3614=7.41, p<.001, ηp2=.076)和目标尺度(F3613=4.34, p=.005)。交互效应也显著(F36112=3.40, p<.001, ηp2=.10)(图4(B))。观察到PTZ-Span的交互效应显著配对。具体来说,目标尺度×2.5的值显著高于×0.4(t(361) = ?4.96, p <.001, d = 0.52)和×0.67(t(361) = ?4.21, p =.006, d = 0.44)。
5.1.4 翻译模式的进入时间
我们发现技术对这一指标有显著影响(图4(C))(F3614=17.1, p<.001, ηp2=.16)。事后检验显示,双手方法(M = 600, SD = 251)的进入模式时间显著快于其他技术;推拉深度(M = 928, SD = 773, t(361) = ?5.27, p <.001, d = 0.55)、PTZ-Angle(M = 1320, SD = 1636, t(361) = ?7.31, p <.001, d = 0.77)、PTZ-Span(M = 1078, SD = 800, t(361) = ?6.92, p <.001, d = 0.73)和PTZ-Area(M = 935, SD = 624, t(361) = ?5.34, p <.001, d = 0.56)。
5.1.5 缩放模式的进入时间
技术的主效应显著(F3614=13.0, p<.001, ηp2=.13)和目标尺度(F3613=5.22, p=.002, ηp2=.042)。交互效应也显著(F36112=2.33, p=.007, ηp2=.072)(图5(D)),但没有显著的配对。

5.2 缩放性能
5.2.1 缩放错误率
技术的效果显著(F3614=32.8, p<.001, ηp2=.27)和目标尺度(F3613==60.4, p<.001, ηp2=.33),以及交互效应(F36112=6.72, p<.001, ηp2=.18)(图5(A, B))。除了基线外,所有技术都包含目标尺度的显著差异对(图5(B))。在PTZ-Area内,×2.5的缩放错误率高于×0.67(t(361) = 5.41, p <.001, d = 0.57)和×1.5(t(361) = 3.86, p =.016, d = 0.41)。×2.5的错误率高于×0.67(t(361) = 5.65, p <.001, d = 0.60)和×1.5(t(361) = 4.10, p =.006, d = 0.43)。对于PTZ-Angle,×2.5导致的错误率高于×0.4(t(361) = 5.19, p <.001, d = 0.55)、×0.67(t(361) = 6.41, p <.001, d = 0.67)和×1.5(t(361) = 5.12, p <.001, d = 0.54)。PTZ-Span也有相同的显著配对:×2.5的错误率高于×0.4(t(361) = ?5.31, p <.001, d = 0.56)、×0.67(t(361) = 5.31, p <.001, d = 0.56)和×1.5(t(361) = 3.56, p =.049, d = 0.38)。最后,推拉深度缩放的×2.5也导致错误率高于×0.4(t(361) = 5.84, p <.001, d = 0.61)、×0.67(t(361) = 6.90, p <.001, d = 0.73)和×1.5(t(361) = 3.76, p =.024, d = 0.40)。

图5. 缩放性能的结果。(A) 不同技术的缩放错误率。(B) 技术×目标尺度的缩放错误率。(C) 平均尺度差显示了模式退出后最终对象与目标尺度之间的偏差。(D) 技术×目标尺度的平均尺度差。显著性水平表示为*p <.05, **p <.01, ***p <.001;误差条表示标准误差。
5.2.2 尺度差
技术的效果显著(F3614=35.5, p<.001, ηp2=.28)和目标尺度(F3613=75.1, p<.001, ηp2=.38),以及交互效应(F36112=4.30, p<.001, ηp2=.13)(图5(C, D))。所有技术在目标尺度之间都显示出显著差异(图5(D))。在PTZ-Area内,×2.5导致的尺度差大于×0.4(t(361) = 5.35, p <.001, d = 0.56)和×0.67(t(361) = 6.62, p <.001, d = 0.70)。×1.5导致的差异大于目标尺度×0.67(t(361) = 3.68, p =.030, d = 0.39)。对于PTZ-Angle,×2.5导致的尺度差大于×0.4(t(361) = 6.38, p <.001, d = 0.67)和×0.67(t(361) = 5.72, p <.001, d = 0.60)。×1.5的尺度差显著大于×0.4(t(361) = 4.43, p =.002, d = 0.47)和×0.67(t(361) = 3.77, p =.022, d = 0.40)。PTZ-Span的×2.5导致的尺度差大于×0.4(t(361) = 5.46, p <.001, d = 0.57)和×0.67(t(361) = 5.43, p <.001, d = 0.57)。PTZ-Span的×1.5也导致更大的差异,大于×0.4(t(361) = 3.71, p =.027, d = 0.39)和×0.67(t(361) = 3.68, p =.030, d = 0.39)。推拉缩放在×2.5时的尺度差大于×0.67(t(361) = 3.95, p =.011, d = 0.42)。×1.5的差异大于×0.67(t(361) = 3.67, p =.031, d = 0.39)。基线在×2.5时的尺度差大于×0.4(t(361) = 6.48, p <.001, d = 0.68)和×0.67(t(361) = 4.85, p <.001, d = 0.51),以及×1.5大于×0.4(t(361) = 5.75, p <.001, d = 0.60)和×0.67(t(361) = 4.12, p =.006, d = 0.51)。

图6.
(A) 不同技术的缩放模式退出时间均值,即从缩放模式返回到空闲状态的持续时间。(B) 用户偏好排名结果。(C) 用7点量表测量的NASA-TLX原始分数结果。(D) 技术的主观评分。显著性水平表示为*p <.05, **p <.01, ***p <.001;误差条表示标准误差。
5.2.3 缩放模式的退出时间
技术(F3614=20.3, p<.001, ηp2=.18)和目标尺度(F3613=5.83, p<.001, ηp2=0.046)的影响具有统计学意义。它们的交互效应也显著(F36112=5.50, p<.001, ηp2=.15)(图6(A))。在PTZ-Area内,不同目标尺度之间存在显著的成对差异。具体来说,较小的目标尺度显示出更快的模式退出时间:×0.4比×1.5(t(361) = ?7.23, p <.001, d = 0.76)和×2.5(t(361) = ?6.06, p <.001, d = 0.64)都快,而×0.67也比×1.5(t(361) = ?5.23, p <.001, d = 0.55)和×2.5(t(361) = ?4.06, p =.009, d = 0.43)快。
5.3 主观评估
从偏好排名(图6(B))来看,双手方法是首选技术。在单手技术中,推拉深度缩放是最受欢迎的选择。所有结果均显示对NASA-TLX因素和主观问卷没有显著影响(图6(C, D)。

5.4 用户反馈
5.4.1 缩放手势的直观性
PTZ缩放手势被认为是最直观的手势(N = 9)。P4表示已经熟悉这种手势。另一方面,基于深度的推拉缩放被认为不太直观,需要参与者在缩放前预测手的移动方向(N = 8)。
5.4.2 感知的缩放范围
参与者指出,双手缩放能够实现最宽的缩放范围(N = 5)。关于PTZ手势,结合了范围和深度(PTZ-Area和PTZ-Angle)被认为提供了更宽的缩放范围(N = 2),而PTZ-Span因其范围有限而受到批评(N = 3)。P5描述说,粗略缩放是通过范围进行的,而精细缩放则是通过深度进行的。在推拉缩放中,参与者报告当手太靠近头戴显示器(HMD)时会出现手部追踪丢失,导致缩放错误(N = 8)。
5.4.3 缩放精度与模式退出时间的关系
参与者指出,双手操作允许精确的模式退出时间,从而实现精确缩放(N = 5)。具体来说,P19更喜欢能够通过精确的模式退出时间准确达到目标尺度的技术。相比之下,参与者发现使用PTZ手势时很难及时退出模式(N = 9)。
5.4.4 身体疲劳
虽然双手基线是最受欢迎的选择,但它也被认为最容易引起身体疲劳(N = 5)。P4解释说这种方法可能不适用于日常生活,而P10提到随着目标尺度的增大,手的移动范围也会增大。

6 讨论
6.1 与双手缩放的比较
虽然结果表明单手缩放没有优于双手缩放的基线,但我们强调研究的目的是提供必要的单手替代方案。特别是基于重叠和角度分散的对齐方式,由于用户在模式退出时将手从注视点移开会导致意外的尺度变化,因此缩放精度较低。相比之下,双手和推拉缩放的捏合辅助模式切换能够实现即时模式退出,从而实现精确缩放。此外,从双手到单手技术的转换性能成本在之前的研究中也有所观察[Guiard 1987; Stellmach等人2012; Surale等人2019]。在这个意义上这是由于其在释放捏合动作时的高缩放性能,这种性能得益于通过触觉反馈实现的精确时间控制 [Huang et al. 2016; Waugh et al. 2022]。然而,在头戴显示器(HMD)附近频繁出现的手部追踪丢失现象导致了在放大(×2.5倍)时突然退出模式,从而增加了缩放误差。这突显了深度作为控制参数的一个局限性,即系统的可检测范围与用户感知到的运动范围不匹配。此外,参与者还提到,推拉手势不如PTZ手势直观。尽管存在这些局限性,推拉缩放仍然是最受欢迎的单手技术,这表明确保准确的缩放能力至关重要。

6.3 对齐到缩放的设计指南
6.3.1 适用于身体受限条件的单手技术
我们的单手技术为那些身体上只能使用一只手进行交互的用户提供了另一种选择。这不仅包括有永久性或暂时性障碍的人,也包括因情境原因而受限的用户。例如,用一只手携带包、箱子、杯子或婴儿会限制手部的可用性,从而需要使用单手技术 [Wobbrock 2019],这也增加了对这类技术的偏好 [Ng et al. 2013]。单手缩放还支持多任务处理,以提高生产力,比如用一只手做笔记,同时用另一只手缩放物体 [Li and Fu 2013]。
在这些情况下,我们建议根据任务需求选择合适的技术:当快速完成任务比精确缩放更重要时,选择PTZ缩放;而对于需要高精度任务,则使用捏合辅助的推拉手势。例如,当用户需要在移动中快速放大地图时,可以使用PTZ-Area,因为其手势非常直观,认知负担较低。同样,对于探索性任务,如观察远处或微小的物体,这些任务不需要像素级的精确度,也可以使用PTZ缩放。而对于需要高精度的任务,如3D建模或技术绘图 [Jiang et al. 2021; Lee et al. 2024],我们推荐使用推拉缩放,因为它是唯一能达到与双手操作相当精度的技术。

6.3.2 将PTZ与半捏合准模式集成
为了扩展使用“半捏合”手势指定的准模式交互 [Lee et al. 2025; Zhu et al. 2023],可以将其与对齐到缩放功能集成。例如,在多选任务中,当手与视线对齐时,用户可以扩大选择区域;而当手与视线不对齐时,则可以同时选择多个物体,从而为现有的准模式添加了一个缩放维度 [Kim et al. 2025a]。

6.4 局限性与未来方向
首先,我们的控制实验禁止了抓握动作,以隔离模式切换性能。因为在调整大小时重复抓握是一种常见行为 [Avery et al. 2014],这一限制可能导致更高的缩放误差。未来的研究应该调查允许抓握动作时的性能,以提供更实用的见解。其次,虽然我们使用了视觉反馈来指示当前模式,但这种反馈方法并未经过测试,因为它超出了我们的研究范围。为了提高可访问性,可以考虑使用听觉或触觉等其他模态 [Jang et al. 2024]。此外,我们的设计范围并未涵盖所有潜在的单手组件。虽然我们专注于视线-手部对齐作为模式切换的提示,但未来的研究可以通过结合和比较表1中的其他组件来进一步扩展。最后,我们的方法可能会引起手臂疲劳,导致“大猩猩手臂效应” [Jang et al. 2017]。虽然我们知道这与当前商业头戴显示器(HMD)中减少手臂疲劳的设计趋势(如Gaze+Pinch)相反,但我们认为这是为了实现单手交互而做出的补偿。
为了提高PTZ的缩放精度,可以结合不同的对齐策略和控制参数。未来的设计可能会将基于重叠的对齐与跨度参数与PTZ手势结合起来。通过可视化立体视图区域,也可以让用户意识到模式切换的发生。

7 结论
我们探讨了如何结合使用视线和手部来实现单手操作物体,重点关注单手模式切换和缩放。我们采用了两种单手缩放手势:PTZ和推拉手势。由于这些手势与仅基于手部的模式切换(用于分离缩放和其他物体操作动作)不完全兼容,我们提出了基于视线-手部-物体对齐的模式切换方法。通过将手部、视线和物体对齐,用户可以开始缩放,并在完成后分离它们。我们评估了这些技术,以防止用户在不同模式之间产生混淆,同时保持缩放精度。我们解释了每种技术的优点和缺点,并提供了单手物体缩放交互的设计指南。

致谢
本工作得到了韩国政府(科学技术信息通信部)资助的IITP(信息与通信技术规划与评估研究所)-ITRC(信息技术研究中心)的资助(IITP-2026-RS-2024-00436398)。此外,本工作还得到了韩国国家研究基金会(NRF)的资助(MSIT)(RS-2026-25470200)。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号