《Proceedings of the Human Factors and Ergonomics Society Annual Meeting》：Real-Time Smartphone Camera–Based Hand Tracking for Controller-Free XR Exposure Therapy
编辑推荐：
暴露疗法是治疗焦虑相关障碍的有效方法，但传统的体内（in vivo）暴露方法常受限于后勤和可及性障碍。扩展现实（Extended Reality, XR）通过提供可控、可重复的虚拟环境暴露，解决了上述诸多限制。基于智能手机的XR通过便携、低成本的平台进一步提高
暴露疗法是治疗焦虑相关障碍的有效方法，但传统的体内（in vivo）暴露方法常受限于后勤和可及性障碍。扩展现实（Extended Reality, XR）通过提供可控、可重复的虚拟环境暴露，解决了上述诸多限制。基于智能手机的XR通过便携、低成本的平台进一步提高了可及性，然而许多系统依赖低保真度的交互方式，这可能会削弱沉浸感。本研究展示了一个基于立体视觉的智能手机XR平台，该平台集成了基于计算机视觉的手部追踪技术，以在暴露相关虚拟环境中实现无控制器交互。研究者在Unity中利用MediaPipe手部关键点检测模型和自定义交互技术开发了一个虚拟狗拾取场景。在一项初步评估（n=5）中，参与者在XR条件下的抓取至释放持续时间显著长于现实世界（Real World, RW）（7.0秒对2.47秒），并伴随频繁的抓取失败和虚拟物体滑落现象。这些发现证明了无控制器智能手机XR的可行性，同时指出抓取交互是提升沉浸式暴露疗法效果的关键改进领域。
一、研究背景与问题提出
焦虑障碍是最常见的精神疾病类别之一，与显著的功能损伤和生活质量下降密切相关。认知行为疗法（Cognitive Behavioral Therapy, CBT），尤其是暴露疗法（Exposure Therapy, ET），已被证实对广泛性焦虑障碍、强迫症、创伤后应激障碍和特定恐惧症等焦虑相关疾病具有显著疗效。ET的核心机制在于让患者反复暴露于引发恐惧的线索和情境中，同时抑制安全行为的使用。传统ET的实施途径包括体内暴露、想象暴露、虚拟现实暴露以及内感受性治疗等。
尽管ET疗效确切，其临床应用仍面临诸多障碍，包括临床医生时间不足、医疗设施条件限制、偏远地区患者的出行负担、漫长的候诊时间以及健康保险覆盖问题。这些障碍凸显了开发可扩展、可远程实施且不牺牲治疗效果的新型递送机制的必要性。
扩展现实（Extended Reality, XR）技术为ET提供了一种颇具前景的替代递送方案。基于XR的暴露疗法（XRET）能够减轻后勤负担，支持远程或自助式治疗，并在维持治疗效果的同时提高可及性。已有研究表明，XRET能够可靠地引发恐惧反应，并产生具有临床意义的症状改善。此外，XR系统允许对暴露参数进行动态调整，必要时可立即终止暴露，相较于传统体内暴露方法在可控性和安全性方面具有明显优势。
当前用于XRET的XR系统涵盖从计算机集成式头戴显示器到基于智能手机的各类配置。计算机集成式XR系统支持高沉浸感的交互体验，但高昂的成本和技术配置要求限制了其可及性。相比之下，基于智能手机的XR系统以智能手机本身作为显示、计算和传感平台，结合用户自有的手机与廉价头显，利用其摄像头进行交互追踪，显著降低了硬件门槛。然而，现有智能手机XR平台多依赖按钮、手持控制器或触摸屏手势等低保真度输入机制，这可能削弱临场感（presence），限制自然运动行为，并影响用户参与度。鉴于交互性对临场感的显著贡献以及主动交互与更强暴露体验之间的关联，在保持可及性的同时提升智能手机XR的交互丰富度，仍是当前亟待解决的技术挑战。
二、研究目的与系统实现
本研究的目标是开发一个集成了实时计算机视觉手部追踪的立体智能手机XR平台，以在暴露相关虚拟环境中实现无控制器交互。研究人员利用一款商用智能手机XR头显和智能手机设备，实现了一个展示动态物体操纵和用户-环境交互的虚拟场景。
系统实现方面，实时手部追踪由Google MediaPipe Hand Landmarker模型完成。Unity中的Vuforia AR Camera获取摄像头帧后转换为MediaPipe兼容格式，由模型估算21个手部解剖关键点的三维坐标。这些关键点在Unity中显示为交互式球体，并赋予Rigidbody和Collider组件以实现基于物理引擎的虚拟物体交互。由于MediaPipe原生坐标系以手部而非相机为深度参考基准，研究人员设计了一套标定流程：初始化时用户将手置于离相机约0.5米处，系统记录指间关节距离的基线几何指标——包括中指掌指关节至小指掌指关节的平均Vector2距离以及食指指尖与小指指尖的Vector2距离。运行时，上述指标的连续变化被用于推断手部前后平移：从相机视角看，手向后移动时关节间距离增大，向前移动时减小。据此，研究人员提出了加权公式近似估算腕部Z坐标。物体交互主要借助Unity原生物理引擎——推、举等简单交互通过RigidBody和Collider组件实现，而抓取和投掷等复杂交互则需要自定义机制：利用腕部与掌指关节的平均Vector3位置生成代表手掌表面的BoxCollider，当该碰撞体与至少两个指尖球体同时接触虚拟物体时，该物体被判定为抓取成功，随后被附着于手掌碰撞体并同步运动，期间重力禁用；当指尖接触低于两个阈值时物体被释放并恢复物理行为。为缓解快速投掷运动中的延迟效应，系统实现了速度补偿机制，利用抓取期间的物体速度历史以约0.3秒的时间偏移来分配释放速度。立体视觉通过Unity中的双虚拟相机渲染配置实现，两相机水平间隔65毫米模拟瞳孔间距，分别渲染左右眼视图至智能手机的分屏显示。
三、研究方法
本探索性研究经南佛罗里达大学机构审查委员会批准。共招募6名成人，其中1人退出，最终5名参与者完成全部研究（80%为女性；平均年龄18.8±0.84岁，范围18-20岁）。入组标准为无妨碍握持或投掷轻质球的上肢活动障碍。所有参与者均在实验前签署书面知情同意书，随后填写人口统计学问卷，内容涵盖年龄、性别、利手性、既往XR体验及晕动病史。所有参与者主要为右利手；5人中有4人无任何XR技术使用经验，4人从未使用过基于智能手机摄像头的手部追踪；1人每周定期使用XR。所有参与者均无晕动病史。参与者接受标准化口头和视频简报后，进行自定节奏的练习，直至熟悉抓取-投掷序列。
研究采用被试内设计，每名参与者在两个条件下依次完成三轮相同的抓取-前掷动作序列：现实世界（RW）条件为抓取并投掷一个与虚拟球尺寸匹配的网球；智能手机XR条件为佩戴商用智能手机XR头显，通过裸手追踪在虚拟狗拾取环境中完成虚拟球的抓取和投掷。每次实验约45分钟，全程以固定侧方摄像机记录上肢运动学；XR条件下额外录制手机应用屏幕。从录制中测量三个行为指标：抓取失败次数、抓取成功后物体滑落次数以及抓取至释放持续时间。每完成一个条件后，参与者填写事后情景问卷（ASQ，含开放式条目）和NASA任务负荷指数（NASA-TLX）；XR条件下还额外填写系统可用性量表（SUS）、模拟器晕动问卷（SSQ）和技术接受模型（TAM）调查问卷。
四、研究结果
尽管所有参与者在两种条件下均成功完成了所需的投掷动作，但XR条件下的成功很少在首次尝试即达成。RW条件下未观察到抓取失败或物体滑落事件，群体平均抓取至释放持续时间为2.47秒（SD=0.45）。相比之下，XR条件下所有参与者均遭遇交互困难：三轮试验中平均抓取失败次数为11.4次，抓取成功后物体滑落的平均次数为5.8次；抓取至释放持续时间显著延长，个体均值范围为4.0至10.3秒（群体均值=7.0秒），约为RW基线的2.8倍。这表明即便在成功抓取后，在投掷过程中维持稳定握持所需的时间和努力仍远高于等效的现实世界动作。
定性行为观察揭示了RW与XR条件间的显著差异：RW条件下参与者会自然地屈膝、调整身体姿势和重新站位以触达并抓取球体；XR条件下参与者普遍保持相对僵直的身体姿态，主要依赖单纯的手臂伸展来触达虚拟球体，很少主动进行全身性体位调整。
NASA-TLX评分在XR条件下（群体均值=48/100）显著高于RW条件（群体均值=18/100），表明XR交互期间感知工作量明显增大。SUS个体评分介于20至87.5之间，群体均值为50.5/100。TAM子量表方面，行为意向评分最高（群体均值=5.20/7），感知易用性评分最低（群体均值=3.95/7），真实感和临场感（Realism and Presence）均值为3.97/7；总体TAM评分群体均值为4.40/7。开放式回答显示，手部追踪响应性、维持稳定抓取所需努力和虚拟狗的行为表现是降低感知真实感的最常见因素。SSQ结果显示5名参与者中有3名报告轻度晕动症症状，其中1名在实验结束时报告了主动的晕动不适。
五、讨论与结论
本研究表明，仅使用单个单目智能手机摄像头即可实现立体XR交互和动态物体操纵，无需额外追踪硬件或手持控制器，验证了系统架构在技术上的可行性。然而，与RW条件相比，XR条件下出现了显著的交互困难。抓取至释放持续时间的显著延长量化反映了参与者在XR条件下投掷前为稳定抓取所需的大量额外时间。行为观察提示参与者未能将现实世界的运动策略自然迁移至XR环境——RW条件下参与者会本能地调整身体位置和姿态以接近目标物体，而XR条件下参与者往往在相对僵直的姿态下依赖孤立的手臂伸展动作。这可能是由于参与者未完全感知智能手机摄像头配置所施加的空间交互约束；许多参与者假定摄像头与头显中心对齐，在有效追踪区域之外尝试交互，仅在身体实际重新定位后才取得成功。这些发现表明，身体定位和环境感知在无控制器智能手机XR交互中可能发挥关键作用，而观察到的局限性可能不仅反映手部追踪性能本身的缺陷，也反映了用户对智能手机XR环境中空间约束的解读与交互方式差异。
未来研究工作将通过生物力学分析进一步调查RW与XR交互条件之间身体运动模式的差异，并评估改进的参与者指导、更清晰的空间引导和增强的深度表征能否提升无控制器XR交互的交互保真度、可用性和感知真实感。本研究无潜在利益冲突，未获得特定资金资助。
结论：研究人员成功实现了一种基于单目智能手机摄像头的立体XR系统，该系统可支持无控制器的三维交互和动态物体操纵。初步评估验证了其技术可行性，但同时暴露了抓取交互的显著局限性——表现为抓取时间延长、失败率高和物体滑落频繁。这些发现为后续改进提供了明确方向，即优化抓取交互机制和用户空间感知引导，将有助于推动可及、低成本的智能手机XR暴露疗法的临床应用。
