《Sensors》：Precision-Oriented Sensing and Multimodal Visuo-Haptic Interaction for Fine Manipulation in Biomedical Engineering and Assistive Applications
编辑推荐：
虚拟现实（Virtual Reality, VR）模拟在外科手术训练或机器人遥操作等高危领域，既需要高保真视觉呈现，也需要精准的力反馈，以促进具身认知并预防操作失误。然而，当前商用触觉设备存在一个关键性权衡：此类设备虽能提供力反馈，但其内置传感器存在延迟、迟滞
虚拟现实（Virtual Reality, VR）模拟在外科手术训练或机器人遥操作等高危领域，既需要高保真视觉呈现，也需要精准的力反馈，以促进具身认知并预防操作失误。然而，当前商用触觉设备存在一个关键性权衡：此类设备虽能提供力反馈，但其内置传感器存在延迟、迟滞及追踪噪声等问题，可能限制精细手指屈曲追踪所必需的精细操作精度。反之，专为精细手指追踪设计的数据手套虽具备更细的输入粒度，却缺乏主动力反馈能力。为应对上述局限，研究人员提出一种混合架构，同时部署高精度数据手套与触觉手套，并通过一项概念验证用户研究，考察在精细操作易碎虚拟物体过程中，将高精度追踪与直接触觉反馈相结合所带来的性能优势与权衡。基于研究结果，研究人员提炼出面向未来生物医学与辅助环境的优化多模态视触觉交互的设计洞见。
论文解读：精准传感与多模态视触觉交互在精细操作中的性能权衡与辅助应用潜力
一、研究背景与问题提出
虚拟现实（Virtual Reality, VR）技术在外科手术训练、机器人遥操作及工业装配等高危领域中日益普及，其价值在于提供无风险环境下的技能习得。然而，仅靠视觉保真并不足以支撑复杂运动技能的掌握，用户必须能够“感知”虚拟环境，这源于具身认知（embodied cognition）理论——学习过程深植于感觉运动系统。触觉反馈有助于认知卸载（cognitive offloading），因此精准的力反馈是精细操作易损物体、避免造成损伤的功能性需求。
当前商用触觉设备面临严峻的技术权衡：以SenseGlove Nova 1为代表的力反馈手套，虽能提供力反馈，但其内置传感机制（如缆线延伸或电阻式弯曲传感器）存在显著追踪噪声、迟滞和延迟，限制了精细手指屈曲追踪的精度。相反，专为高精度手指追踪设计的数据手套（如Yamaha Data Glove）具备更细的输入粒度，却缺乏主动力反馈能力。这一“非此即彼”的困境催生了将手指追踪与力反馈执行解耦的技术思路，但现有解耦方案多依赖定制硬件，可穿戴性与可获取性受限，基于现成组件的解耦方案仍鲜有探索。
二、研究内容与核心贡献
针对上述问题，研究人员提出一种混合架构（Hybrid System），将高精度数据手套（Yamaha Data Glove，内嵌11个碳纳米管（Carbon Nanotube, CNT）应变传感器）物理层叠于商用触觉手套（SenseGlove Nova 1）之下，通过软件层面的运动学覆盖（kinematic override）实现输入追踪与力反馈输出的解耦。该架构以Meta Quest 3作为头戴显示器（Head-Mounted Display, HMD），数据手套通过USB连接工作站，再经UDP流传输至VR头显，由数据手套的屈曲数据驱动虚拟手，而Nova 1仅作为被动执行器，在虚拟碰撞时触发机械制动提供力反馈。研究人员通过一项18名参与者的受试者内（within-subjects）用户研究，以标准系统（仅使用商用触觉手套）为基线，考察混合架构在精细操作虚拟易碎物体时的性能优势与权衡。参与者按VR经验分层为高经验组（≥50小时）与低经验组（<50小时），并采用AB/BA顺序平衡以缓解学习效应。
三、关键技术方法
本研究采用的主要技术方法包括：（1）碳纳米管应变传感技术，利用CNT薄膜在机械变形下电阻变化的压阻效应（灵敏度系数Gauge Factor约10.5，传感延迟低于15 ms）实现关节级屈曲追踪；（2）两点线性标定法，在最大伸展与最大屈曲边界条件下采样原始电阻值，通过实时线性插值将归一化电阻映射至虚拟手关节角度；（3）运动学覆盖软件管线，通过UDP流将数据手套屈曲数据注入Unity引擎，绕过触觉手套原生输入；（4）基于物理引擎的抓取判定逻辑（接触穿透≥2 mm触发抓取）与力反馈命令映射；（5）受试者内实验设计与Wilcoxon符号秩检验（精确置换p值）及Fisher精确检验进行统计分析。
四、研究结果
4.1 客观表现指标
玻璃药瓶运输任务中，混合系统在两组参与者中均显著减少了错失抓取次数（低经验组从5降至0.56，高经验组从4.22降至0），且两种配置均无意外破碎。易碎鸡蛋任务呈现权衡效应：混合系统整体增加错失抓取次数，但低经验用户的意外破碎次数减少（0.89 vs. 1.22）。任务成功率因经验水平而异：低经验用户在宽容的标准系统中成功率更高，而高经验用户中仅混合系统有1名参与者实现目标区内成功破碎。完成时间方面，混合系统在两组中均略有增加（低经验组86.33 s vs. 99.33 s；高经验组51.11 s vs. 61.11 s）。
4.2 工作负荷（Raw NASA-TLX）
工作负荷呈现与经验水平相反的趋向：低经验用户认为混合系统更费力（27.78 vs. 21.40），挫败感维度上升；高经验用户则报告混合系统工作负荷更低（11.93 vs. 19.75），表现与脑力需求维度得分下降。整体均值接近（19.86 vs. 20.58）。
4.3 主体感（Sense of Agency, SoA）
主体感呈现与工作负荷相呼应的分化模式：高经验用户在混合系统中报告主体感提升，低经验组则变化甚微。
4.4 用户偏好
偏好呈现基于经验的二分：低经验用户偏好标准系统的精度，高经验用户偏好混合系统。尽管力反馈硬件在两种配置中完全相同，多数参与者（18人中的14人）认为混合系统的触觉反馈质量更优。
4.5 统计显著性分析
配对显著性检验中，除经验水平与精度偏好间的关联达到统计显著（Fisher精确检验p=0.015，Cramér's V=0.65）外，其余客观与主观指标均未达到常规显著性水平。多个客观比较的有效配对样本量过小（n≤5），无法达到显著性阈值，应解读为与系统间差异一致但不构成统计确认。
4.6 定性观察
高经验用户在使用标准系统时倾向采用“游戏化”策略（利用碰撞容差快速移动），而在混合系统中明显调整姿态与操作速度，以更谨慎的方式处理虚拟物体，类似操作真实易碎物品。参与者非正式反馈称双层手套未造成臃肿感或限制自然活动范围。
五、讨论与结论
研究人员将两种系统诠释为不同的交互范式：标准系统提供“辅助可达性”（信号噪声形成对不精确输入的容差），混合系统则提供“工具性精度”，强制物理运动与虚拟空间间的严格映射。混合架构减少了信号模糊性，但也移除了隐性的“辅助网”，使低经验用户的即时得分受损，同时为高经验用户提供更严格的操作-接触对应关系，可区分近似动作与正确动作——这是高级训练与精准辅助环境的先决条件。完成时间的增加被解读为行为适应而非效率损失，反映“质量优先于速度”的策略转变。工作负荷与主体感的分化表明，混合系统的优势需以基本交互机制掌握为前提。触觉质量偏好的趋同提示混合配置可能改善了视觉-触觉一致性，尽管双层手套的阻尼贡献无法排除。
研究结论指出，标准系统虽易受追踪误差影响，但对复杂几何体更为宽容，其“即插即用”特性与新手较低挫败感相关；混合系统则与更少的玻璃药瓶错失抓取相关联，并强制严格遵循交互物理，这一特性对训练模拟具有价值——在康复等辅助应用中，模拟必须准确惩罚错误而非通过软件容差便利交互。值得注意的是，除经验水平与精度偏好的关联外，各项差异均未达到统计显著性，结论应视为由一致描述性与定性证据支持的假设，有待更大样本验证。未来工作将扩展参与者队列、开发自动化标定流程、集成无线扩展模块，并采用光学运动捕捉验证两种管线的关节角误差、迟滞、抖动与端到端延迟。
