《Electronics》：Multi-Constraint 3D Human Pose Refinement via Kinematic–Temporal Optimization
编辑推荐：
三维（3D）人体姿态序列常表现出坐标噪声、骨骼长度不一致和时间抖动等问题，仅凭位置误差无法充分评估这些缺陷。研究人员提出了一种离线运动学-时间细化框架，该框架整合了重建保真度、骨骼长度一致性、多阶时间正则化、双侧节段长度对称性以及软关节活动范围约束。该框架在优
三维（3D）人体姿态序列常表现出坐标噪声、骨骼长度不一致和时间抖动等问题，仅凭位置误差无法充分评估这些缺陷。研究人员提出了一种离线运动学-时间细化框架，该框架整合了重建保真度、骨骼长度一致性、多阶时间正则化、双侧节段长度对称性以及软关节活动范围约束。该框架在优化过程中不依赖参考姿态，直接优化3D关节坐标，并采用匹配权重消融实验和进度相关权重调度策略。实验覆盖了Human3.6M测试集中两名受试者的371个非重叠64帧窗口，使用了独立高斯、时间相关和肢体相干三类合成扰动的五种实现。在独立高斯噪声下，Full-Fixed细化将MPJPE从23.96 mm降至10.34 mm，骨骼长度误差从16.95 mm降至3.19 mm。在肢体相干扰动下，MPJPE从23.94 mm降至10.32 mm；在时间相关扰动下，MPJPE从23.91 mm降至19.05 mm。这些结果表明，时间相关性使位置校正更具挑战性，而运动学约束在噪声依赖的位置权衡下改善了骨骼一致性。权重调度进一步调整了时间误差，同时位置精度变化较小。总体而言，该框架实现了可解释的离线细化，并明确刻画了精度-结构-运动之间的权衡关系。
论文解读：多约束三维人体姿态细化框架的系统性评估
一、研究背景与问题
三维（3D）人体姿态估计旨在从图像、视频或关键点观测中恢复人体关节的空间位置和骨骼配置。近年来，时间卷积网络、Transformer和图结构架构显著提升了关节关系与帧间运动的建模能力，频域姿态建模、非因果保持网络等替代方法也被广泛探索。然而，准确的关节定位本身并不能保证稳定的骨骼几何和连贯的运动轨迹。坐标误差可能产生帧间抖动、估计骨骼长度的波动，以及局部关节构型与预设运动学限制冲突等问题。当细化后的轨迹被用于计算骨骼几何或高阶运动差分时，这些伪影尤为关键。因此，姿态估计后的细化提供了一种补充手段，用于在初始3D姿态序列获得后调节其几何和时间属性。
现有研究已在骨骼与运动先验方面进行了探索，包括将骨骼约束纳入姿态估计、基于上下文建模关节间依赖、轨迹优化引入运动学与动力学先验、运动学感知模型捕获时空关系、组合姿态回归通过连接骨骼结构表示人体姿态，以及解剖与几何约束估计等。姿态细化方面，SmoothNet利用时间信息减少估计姿态的抖动，DeciWatch利用运动连续性进行姿态去噪与恢复。近期研究进一步将结构先验和时间先验融入姿态建模，如PoseRL-Net框架整合平滑与对称约束、基于扩散的3D姿态估计引入骨骼链和运动学层次先验、PosePerfect结合合成定位误差校正与人体测量细化等。然而，细化过程中涉及的约束作用于不同且可能相互竞争的性质：骨骼长度项调节节段几何，时间项作用于帧间运动差分，双侧项限制对应节段长度差异，关节范围惩罚响应预设角度违规。由于所有项最终影响相同的关节坐标，结构一致性的改善并不必然伴随位置或运动误差的降低，其增量效应可能取决于输入误差在时间上独立、跨帧持续或关节间相关的特性。因此，需要匹配的配置和能够区分关节位置、骨骼几何和时间行为的评估措施来表征这些交互作用。
二、研究内容与核心结论
研究人员提出了一种离线运动学-时间细化框架，通过窗口级迭代优化细化现有3D关节坐标。其目标函数整合了重建保真度、骨骼长度一致性、一阶至三阶时间正则化、双侧节段长度对称性和软关节活动范围（ROM）惩罚。骨骼长度参考从初始姿态窗口估计而非评估真值获取；ROM项使用无符号膝肘屈曲代理角度，仅在超出预设界限时激活。研究考察了固定权重和进度相关调度两种配置，以刻画这些约束在优化过程中的相对影响变化。
实验在Human3.6M数据集上进行，开发分析使用S1、S5、S6、S7和S8受试者，主要评估在S9和S11上进行。最终评估包含八个3D姿态序列：S9的Discussion、Eating、Smoking和Walking，以及S11的Discussion、Eating、Smoking和Waiting。每个序列按时间顺序划分为非重叠的64帧窗口，共得到371个完整窗口，合计23744帧。研究设计了三种合成扰动：独立高斯噪声（σ=15 mm）、时间相关AR(1)噪声（ρ=0.85，边缘标准差15 mm）和肢体相干噪声（关节独立分量标准差10 mm，组共享分量标准差约11.18 mm，边缘标准差15 mm）。每种扰动条件下，每个窗口生成五个随机实现（种子0-4），共1855个扰动输入。所有方法处理相同的扰动输入。优化使用Adam求解器，初始学习率0.003，通过余弦退火降至0.00015，梯度范数裁剪阈值1.5，主比较使用每窗口500次迭代预算。
核心结论如下：在独立高斯噪声下，Full-Fixed细化将MPJPE从23.96 mm降至10.34 mm，骨骼长度误差从16.95 mm降至3.19 mm。在肢体相干扰动下，MPJPE从23.94 mm降至10.32 mm；在时间相关扰动下，MPJPE从23.91 mm降至19.05 mm。时间相关性使位置校正更具挑战性，而运动学约束在噪声依赖的位置权衡下改善骨骼一致性。权重调度进一步调整时间误差，位置精度变化较小。该框架实现了可解释的离线细化，明确刻画了精度-结构-运动权衡。
三、关键技术方法
研究人员采用了以下主要技术方法：第一，多约束目标函数设计，整合重建保真度、骨骼长度一致性（参考长度取输入窗口的时间中位数）、一阶至三阶时间正则化（系数β?=1、β?=2、β?=0.5）、双侧骨骼节段对称性和软ROM惩罚（膝0-165°、肘0-160°，分段连续惩罚阈值5°和15°）。第二，固定权重与进度相关权重调度策略，主线性调度将重建权重从0.5降至0.2、ROM权重从3.0增至8.0，骨骼、时间和双侧权重保持8.0、1.0和0.5不变。第三，基于Adam的坐标直接优化，采用余弦学习率退化和梯度范数裁剪。第四，匹配权重开关消融设计，六种配置（A-F）在相同权重条件下逐一激活约束项。第五，三类合成扰动生成方案，包括独立高斯、AR(1)时间相关和肢体相干扰动。第六，与七种传统后处理方法（Savitzky-Golay滤波、Butterworth滤波、One-Euro滤波、Kalman滤波、骨骼长度投影及其组合）的系统比较。第七，基于移动块自助法的条件不确定性区间估计和Pareto非支配分析。
四、研究结果
匹配权重消融总体结果：仅含重建保真度的配置A产生MPJPE 23.962 mm和骨骼长度误差16.954 mm。加入时间正则化的配置B将MPJPE降至9.393 mm、jerk误差从107.137降至2.255 mm/frame3，骨骼长度误差降至6.448 mm。单独加入骨骼长度一致性的配置C将骨骼长度误差降至3.232 mm，MPJPE保持20.900 mm。组合时间正则化和骨骼长度一致性的配置D产生骨骼长度误差3.230 mm和MPJPE 10.338 mm。加入双侧对称性的配置E进一步将骨骼长度误差降至3.191 mm。配置F加入软ROM约束后结果几乎相同。AVR在配置A中为0.000279%，在配置B-F中为零。
配对约束效应与条件不确定性区间：加入时间正则化（B-A）使MPJPE降低14.568 mm、jerk误差降低104.881 mm/frame3、骨骼长度误差降低10.506 mm。单独加入骨骼长度一致性（C-A）使骨骼长度误差降低13.722 mm，MPJPE降低3.062 mm。在时间正则化基础上加入骨骼一致性（D-B）使骨骼长度误差降低3.217 mm，MPJPE和jerk误差分别增加0.944 mm和0.488 mm/frame3。骨骼×时间交互对比（D-B-C+A）在三个指标上均为正，表明两个约束在统一优化框架中存在非加性关系。
迭代预算、权重调度与计算时间：Temporal配置的MPJPE在100至200次迭代间从10.352降至9.465 mm，500次迭代时回升至10.317 mm。Bone+Temporal、Full-Fixed和Full-Scheduled的MPJPE随迭代预算增加持续降低。进度相关调度在三个迭代预算下均降低加速度和jerk误差，伴随MPJPE和骨骼长度误差的小幅增加。增加调度幅度κ从0.8至1.2，MPJPE差异从0.061增至0.122 mm，jerk误差降低从0.364增至0.519 mm/frame3。计算时间方面，传统方法每窗口需0.245-1.119 ms，Matched B需1358.725 ms，Full-Fixed和Full-Scheduled分别需1748.053和1747.669 ms。
ROM约束响应与多目标性能：在独立高斯扰动下，ROM约束选择性响应超出预设角度界限的关节构型。384个受控方向扰动输入中，三个案例产生新的ROM违规，均涉及两个源窗口中的右肘。隔离的重建+ROM公式将受影响关节角度误差从20.000°、30.000°和30.000°分别降至17.573°、21.347°和22.973°，无剩余ROM违规。Pareto分析显示，匹配权重消融中配置B、E和F在MPJPE-骨骼长度误差空间中非支配，B单独在MPJPE-加速度或jerk误差空间中非支配。联合考虑三个目标时，非支配集包含B、D、E和F。
与传统后处理方法比较：在独立高斯扰动下，Savitzky-Golay滤波实现最低MPJPE 8.588 mm，Butterworth滤波产生最低jerk误差0.850 mm/frame3，对应骨骼长度误差分别为5.817和5.957 mm。Full-Fixed实现最低骨骼长度误差3.191 mm，MPJPE 10.335 mm，jerk误差2.746 mm/frame3。Full-Scheduled保持骨骼长度误差3.192 mm，jerk误差降至2.300 mm/frame3，MPJPE 10.432 mm。骨骼长度投影单独将骨骼几何误差降至3.233 mm，但MPJPE增至30.260 mm。
结构化扰动下的细化性能：在AR(1)扰动下，Full-Fixed将MPJPE从23.914降至19.052 mm，骨骼长度误差从16.935降至7.456 mm，jerk误差从33.387降至1.745 mm/frame3。在肢体相干扰动下，Full-Fixed将MPJPE从23.945降至10.317 mm，骨骼长度误差从12.705降至2.293 mm，jerk误差从107.042降至2.694 mm/frame3。两种扰动条件表现出不同的位置校正与骨骼正则化关系。
约束权重与时间阶系数敏感性：将骨骼长度权重从8降至2，MPJPE降至8.898 mm、骨骼长度误差降至3.164 mm、jerk误差降至1.949 mm/frame3。将时间权重从1增至4，MPJPE降至9.395 mm、jerk误差降至1.069 mm/frame3。移除二阶差分项而不调整其余系数，MPJPE增至11.165 mm、jerk误差增至5.248 mm/frame3；重新缩放一阶和三阶系数以保持原系数和后，MPJPE和jerk误差分别为10.106 mm和2.629 mm/frame3。
运动特征与窗口边界连续性：Full-Fixed的窗口内一阶、二阶和三阶参考相对误差分别为4.081 mm/frame、2.790 mm/frame2和2.749 mm/frame3，而跨窗口边界分别为23.169 mm/frame、27.339 mm/frame2和36.876 mm/frame3。Butterworth的窗口内jerk误差为0.855 mm/frame3，但边界跨jerk误差为50.893 mm/frame3。
候选停止点与迭代预算权衡：在0.01 mm阈值下，Full-Fixed和线性调度的中位候选停止迭代分别为271和265.5次，平均迭代预算减少45.88%和46.64%，MPJPE增加0.557和0.595 mm。在0.03 mm阈值下，中位候选迭代降至147和146.5次，预算减少约70%，MPJPE增加1.875和1.890 mm。
五、讨论与结论
讨论部分指出，时间正则化是独立高斯扰动下位置精度和运动误差改善的主要贡献者，其效果依赖于输入噪声的相关结构。在AR(1)扰动下，时间正则化单独效果有限，结合骨骼长度约束可同时改善位置和几何精度。骨骼长度一致性约束在不同约束组合下均贡献骨骼几何精度，但其位置效果取决于伴随的正则化项和扰动结构。骨骼×时间交互分析表明两个约束存在非加性关系。进度相关权重调度通过改变优化过程中约束的相对影响来调节位置精度与时间运动误差的平衡。与传统后处理方法相比，多约束细化提供更精确的骨骼几何，但计算成本显著更高。
研究结论可概括为：所提出的多约束运动学-时间细化框架能够有效改善3D人体姿态序列的骨骼一致性和时间连续性，在独立高斯和肢体相干扰动下实现显著的MPJPE降低，在时间相关扰动下位置校正更具挑战性。该框架通过显式整合重建保真度、骨骼长度一致性、多阶时间正则化、双侧对称性和软ROM约束，实现了可解释的离线细化，并明确刻画了精度-结构-运动之间的权衡关系，为姿态估计后的细化任务提供了系统的评估框架和配置选择依据。
