《Computers & Graphics》：Photo-reflective sensing for parametric 3D facial expression reconstruction in head-mounted display
编辑推荐：
•一个系统，可在推理时仅凭光反射传感器数值重建HMD佩戴者的三维面部表情。•摄像头图像用于监督训练；推理阶段仅依赖嵌入HMD中的20个紧凑且具有隐私保护功能的光反射传感器。•专用的下颌姿态预测器以及对最后一层进行轻量级微调，进一步降低了重建误差。•传感器在区域内的位置比区域覆
- •
一个系统，可在推理时仅凭光反射传感器数值重建HMD佩戴者的三维面部表情。
- •
摄像头图像用于监督训练；推理阶段仅依赖嵌入HMD中的20个紧凑且具有隐私保护功能的光反射传感器。
- •
专用的下颌姿态预测器以及对最后一层进行轻量级微调，进一步降低了重建误差。
- •
传感器在区域内的位置比区域覆盖率更为重要，且印堂和鼻子传感器对精确重建尤为关键。
- •
一种穿戴不变损失函数可在单次用户校准下提升跨穿戴的鲁棒性。
- •
校准分析识别出有用的表情类别，并得出了实用的通用Top-校准顺序。
引言
面部表情是虚拟现实（VR）中非语言交流的核心，然而当今的平台仅在简化层面上重现它们。随着VR的普及，人们对这些环境中自然社交互动的需求与日俱增——手势和面部线索所承载的情感和意图与现实世界一样重要。然而，当前平台所提供的远非预设表情和基本头像手势所能比拟，这限制了头像中介交互的丰富性。因此，缩小人类表情与其在头像端的再现之间的差距已成为一个活跃的研究领域。
现有的VR面部捕捉方法可分为两大流派，各有互补的不足。基于图像的方法将摄像头嵌入HMD内部，从捕捉的帧中重建面部结构[1]、[2]、[3]、[4]；该方法保真度高，但在训练和推理期间都需要繁重的图像处理，并引发隐私担忧。非成像方法则依赖于肌电图（EMG）[5]和光反射传感器[6]、[7]、[8]等模态，降低了处理成本并缓解了隐私风险，但在恢复三维几何等输出方面面临困难，使大多数系统退回到对少量预设表情的分类[9]、[10]、[11]、[12]、[13]、[14]，通常是Ekman的六种基本情绪[15]。单凭任一方法都无法同时实现丰富的表现力和低成本的隐私保护推理。
我们通过训练时使用摄像头进行监督，而推理时仅使用传感器来弥合这一差距。在训练阶段，摄像头图像引导模型学习丰富的、高维的三维面部表示；在推理阶段，系统仅依赖嵌入HMD中的紧凑、廉价的光反射传感器。该设计继承了基于摄像头方法的表现精度，同时保留了基于传感器方法的低计算量、小体积和隐私优势。在此基础上，我们提出：当图像仅限于训练时，光反射传感器数值能否支持精确的三维面部重建，并研究训练数据规模、多样性和模型设计如何影响该精度。
本研究的主要贡献如下：
- 1.
我们展示了一种相机监督、仅传感器推理的HMD三维面部重建流程，利用紧凑的光反射传感器读数进行FLAME表情和下颌姿态回归。
- 2.
我们展示了专用的下颌姿态预测器可减少大嘴部运动时的重建误差。
- 3.
我们证明了传感器在区域内的位置比区域覆盖率更为重要，且印堂和鼻子传感器可达到甚至优于全部内置传感器配置的精度。
- 4.
我们展示了穿戴不变预训练可在单次用户校准下提升跨穿戴鲁棒性。
- 5.
我们识别出一种基于队列的简化表情校准协议，其中表示从通用校准顺序开头取用的表情数量，该协议可在不降低该队列精度的前提下将校准集从30个表情减少至20个。
章节摘要
三维面部重建
传统的三维面部重建假设面部的完全可见，而这恰恰是HMD所遮蔽的。传统工具箱包括标记跟踪[16]、[17]、特征点检测[18]、[19]、基于像素或边缘的分析[20]，以及基于卷积神经网络（CNN）的深度学习[21]、[22]；深度摄像头也已被用于捕捉精细几何信息[23]、[24]、[25]。所有这些方法都有一个共同盲点：它们依赖完整的面部图像，而HMD部署会
利用光反射传感器估计HMD佩戴者的三维面部几何
我们的设计原则是沿监督—推理轴线对系统进行拆分：摄像头在训练阶段提供高维监督，而紧凑的传感器在运行时执行轻量级、隐私保护的推理，从不处理可识别的面部图像。核心障碍在于，将低维传感器数值直接映射到高维面部几何是欠定的，因为维度差距大且关系是非线性的
实验
我们评估了系统的表情重建精度以及设计选择如何影响精度。我们首先收集了20名参与者的指示表情数据集，然后用该数据集评估流水线的各个组件和设计选择。全模型和单预测器与多预测器的评估考察了仅传感器重建流程和专用的下颌姿态预测器（贡献1和2）；传感器消融实验
结果
所有实验均在一台配备NVIDIA GeForce RTX 3080 GPU和AMD Ryzen 9 5900X CPU的台式机上运行，使用Ubuntu 22.04.3 LTS上的Python 3.8.8和PyTorch 2.2.0+cu121。从原始传感器输入到重建三维面部形状的端到端处理时间在所有条件下平均为23.9毫秒，处于实时预算之内。
讨论
重新佩戴的多样性比训练数据量影响更大。在各实验中，精度主要取决于训练数据中不同的HMD佩戴模式的数量，而非样本总数。这一效应有物理基础：重新佩戴会改变传感器到面部的几何关系。因此，相同的表情可能产生不同的传感器数值。使用多种佩戴条件进行训练可让模型接触这些变化并帮助其学习对这些变化的不变性。这
局限与未来工作
真实数据质量是一个我们未能充分评估的局限。我们的真实三维形状由三摄像头图像和优化流程合成。我们认为该流程足够一致和可靠用于学习，但我们并未测量最终形状与每位佩戴者实际面部几何的吻合程度。这一点最直接地适用于鼻子区域：由于鼻根和鼻梁被HMD遮挡，其特征点是通过插值得到的（第3.3节
结论
本文表明，光反射传感器可在不进行摄像头推理的情况下支持HMD中富有表现力的实时面部重建。通过仅在训练时使用摄像头进行监督，我们的系统使用嵌入HMD中的20个轻量级传感器进行推理。该设计降低了部署时面部跟踪的硬件和计算负担，同时避免了头盔内置摄像头的隐私问题。我们还表明，精确重建更取决于
CRediT作者贡献声明
Yuki Nakabayashi（中野雅己）：撰写—初稿、软件、方法论、调查研究、概念化。Fumihiko Nakamura（中村文彦）：撰写—审阅与编辑、监督、资金获取。Katsutoshi Masai（政井克己）：撰写—审阅与编辑、监督。Maki Sugimoto（杉本真喜）：撰写—审阅与编辑、监督、资金获取。
生成式人工智能及AI辅助技术在文稿撰写过程中的声明
在撰写本文期间，作者使用了Claude Sonnet 4.6（Anthropic）、Claude Opus 4.7（Anthropic）和ChatGPT 5.5（OpenAI）以提高英文文本的清晰度和可读性，并使用Claude Code（搭配Claude Opus 4.7，Anthropic）协助开发部分程序代码。在使用这些工具后，作者对内容进行了审查和编辑，并对已发表文章的全部内容承担全部责任。
利益冲突声明
作者声明不存在可能影响本文所报告工作的已知竞争性经济利益或个人关系。
致谢
本研究由日本学术振兴会（JSPS）科研基金项目（资助编号24K20823和25K03158）资助。
Yuki Nakabayashi（中野雅己）|Fumihiko Nakamura（中村文彦）|Katsutoshi Masai（政井克己）|Maki Sugimoto（杉本真喜）
