基于双向回归的单目6DoF头部位姿估计与参考坐标系对齐方法(Bidirectional Regression for Monocular 6DoF Head Pose Estimation and Reference System Alignment)

《Patient Education and Counseling》：Bidirectional Regression for Monocular 6DoF Head Pose Estimation and Reference System Alignment

　　

精确六自由度(6 Degree-of-Freedom, 6DoF)头部位姿估计对于安全关键型应用及人机交互场景至关重要，然而现有单目方法在鲁棒位姿估计方面仍面临挑战。研究人员重新审视该问题，提出TRGv2——即先前提出的平移(Translation)、旋转(Rotation)与几何(Geometry)(TRG)网络的轻量化扩展版本，其显式建模了面部几何与头部位姿间的双向交互作用。TRGv2通过带地标到图像投影的迭代细化循环联合推断面部地标与6DoF位姿，确保人脸尺寸、旋转及深度间的度量一致性。为进一步提升对分布外(Out-of-Distribution, OOD)数据的泛化能力，TRGv2回归校正参数而非直接预测平移向量，并将其与针孔相机模型(Pinhole Camera Model)结合以实现解析深度估计。此外，研究人员发现跨数据集评估中存在因各数据集头部中心(Head Center)定义不一致而导致此前被忽视的偏差源。为此，研究人员提出一种参考系对齐(Reference System Alignment)策略，在具备三维人脸几何标注的前提下量化并修正平移偏差，以实现跨数据集的公平比较。在ARKitFace、BIWI及具挑战性的DD-Pose基准上开展的广泛实验表明，TRGv2在精度与效率上均优于现有最优(State-of-the-Art, SOTA)方法。研究人员将公开代码及为DD-Pose新标注的地标点。

本文对发表于期刊的论文《Bidirectional Regression for Monocular 6DoF Head Pose Estimation and Reference System Alignment》进行解读。该研究由Sungho Chun、Boeun Kim、Hyung Jin Chang及Ju Yong Chang（Kwangwoon University, South Korea）完成。

一、研究背景与意义

六自由度(6 Degree-of-Freedom, 6DoF)头部位姿由头部相对于相机坐标系的三维旋转(Rotation, R∈SO(3))与平移(Translation, T∈R3)构成，是理解人注视方向、注意力及交互对象的核心线索，广泛应用于驾驶员监测、人机协作与智能监控。现有研究多聚焦头部旋转(yaw, pitch, roll)估计，头部平移因受人脸尺寸与深度歧义影响常被忽视或估计不准。直接回归方法如img2pose虽端到端但未显式利用面部几何；基于透视重建的方法如PerspNet虽引入几何对齐却缺乏位姿反馈至几何重建的闭环，且未显式解算深度导致尺度模糊。此外，跨数据集评测时各数据集采用的3D头部网格(Mesh)拓扑不同，头部中心(Head Center)定义不一致，引入平移评估偏差，使跨库比较失公允。为此，研究人员开展本研究，提出显式建模面部几何与6DoF位姿双向交互的TRG框架及其轻量版TRGv2，并首次提出参考系对齐策略消除标注偏差，旨在提升单目6DoF头部位姿估计的精度、效率及跨域评测公平性。

二、关键技术方法

研究人员以单张RGB图像I∈R^(3×H×W)为输入，构建TRGv2网络：采用骨干网提取特征图?∈R^(256×H/8×W/8)；初始化平均3D稠密人脸顶点V?与旋转R?（取自ARKitFace训练集随机样本），初始校正参数尺度s?=1、面框偏移?τ?^x,face=?τ?^y,face=0。执行t=1~2次迭代细化——每轮将上轮预测的3D地标V(t-1)按当前位姿(R(t-1), T_(t-1))作地标到图像投影(Landmark-to-Image Projection, 透视投影至像平面)，通过双线性特征采样(Feature Sampler)在投影坐标处提取对齐特征?_t^p，送入人脸回归器(Face Regressor)预测旋转残差ΔR_t与平移校正参数(尺度修正Δs_t、面框中心修正Δ?τ_t^x,face、Δ?τ_t^y,face)。平移向量T_t由针孔相机模型(Pinhole Camera Model)解析计算：已知焦距f与真实平均头宽W_face(≈20cm)，据图像中头框像素宽w_bbox与校正后尺度s=s?+ΣΔs、校正后框心，求解放缩因子得深度Z=T_z，再反投影得T_x,T_y。损失函数加权约束旋转(λ_rot)、投影地标重投影误差(λ_L)、相机模型一致性(λ_cam)及头部尺寸先验(λ_head)。参考系对齐时，若有源库与目标库3D Mesh标注，计算两Mesh定义头中心间偏移ΔT_align，测试时将该偏移加至预测平移使不同库结果处于同一参考坐标系。实验在ARKitFace、BIWI及含遮挡/光照变化/截断的DD-Pose（研究人员新标注68点2D稀疏地标）上进行SOTA对比与消融。

三、研究结果

Overview of the proposed model

TRGv2由特征提取器(Feature Extractor)、特征采样器(Feature Sampler)及人脸回归器(Face Regressor)组成，通过两次迭代实现3D人脸几何与6DoF位姿的互细化。研究人员指出该双向交互机制——几何推断位姿、位姿反馈细化几何投影特征——是利用人脸尺寸与位姿互补关系的关键架构。

Implementation details

输入图像H=W=192；初采样点N_t^P为324(t=0)与305(t=1)；输出稠密顶点N^V=1220、68点地标N^L=68。初始化取自ARKitFace。训练时多损失联合优化。

Conclusion（研究结论翻译）

本研究提出了TRGv2——一种从单幅图像预测6DoF头部位姿的新框架。通过大量实验，研究人员证明TRGv2的核心设计（即6DoF头部位姿