DEA-HPE：基于解耦动态适应的不确定性感知水下姿态估计

《Pattern Recognition》：DEA-HPE: Uncertainty-aware Underwater pose estimation via disentangled dynamic adaptation

　　

• •
  面向自适应水下特征增强的新型轻量级混合专家（MoE）架构。
• •
  面向稳健关键点定位的不确定性感知精化模块。
• •
  融合环境适应与不确定性的端到端训练策略。
• •
  在具有挑战性的UW-Human数据集及标准基准上表现出色。

引言

水下环境中的人体姿态估计对于众多应用至关重要，包括水上运动训练、海洋机器人、水下救援作业以及水下人机交互场景[1]。尽管姿态估计算法在地面场景中已取得显著进展，如ViTPose[2]和RTMPose[3]所示，以及像HRFormer[4]这样具有鲁棒性的架构，但水下光学退化导致的领域差距阻碍了其泛化能力。水下环境的特点是存在多种同时发生的退化，包括波长相关的光衰减和散射、对比度降低、颜色偏移、能见度有限[5]、[6]，以及与水相关的遮挡，如半透明水花和跨介质不可见现象，这使得人体姿态估计尤为困难。因此，当应用于水下图像时，传统方法往往表现出关键预测不稳定、漏检以及整体精度下降等问题[7]。这突显了对专门针对水下环境视觉特征的算法的需求。

现有应对水下人体姿态估计挑战的方法可分为架构鲁棒性增强[1]、[4]、数据增强策略[8]和领域适应技术[9]。架构鲁棒性方法通过修改神经网络架构以更好地处理退化输入；数据增强通过在训练过程中模拟各种退化形式来提高模型泛化能力；领域适应则将从源领域的知识迁移到目标领域。然而，由于以下几个关键局限，这些方法在水下场景中往往表现不足。首先，大多数方法仅关注单一类型的退化，而非处理水下环境中通常同时存在的多种退化，这限制了其在复杂条件下的泛化能力。此外，模型输出置信度通常仅被用作检测结果的阈值过滤手段，而非作为一种可与结构约束相结合以校正缺失或错位关节的不确定性线索。

为了解决这些局限性，我们提出了DEA-HPE（解耦环境感知人体姿态估计），一个专为稳健水下姿态估计而设计的框架。

具体而言，我们开发了一个动态环境感知特征增强网络（DE-FEN），其中融入了轻量级卷积混合专家（CMoE）架构[10]、[11]，以自适应地处理主干特征并输出初始姿态概率分布。路由网络根据输入特征统计量将动态权重分配给各卷积专家。

随后，我们引入了不确定性感知潜空间精化（UA-LSR）模块，该模块由我们在前期工作中提出的CKPR概念[12]演化而来，并针对端到端集成进行了架构调整，通过利用这些分布内的统计特性来改进关键点预测。该模块采用基于条件变分自编码器（CVAE）的架构[13]，通过概率非线性重参数化（PNR）和确定性感知自适应融合（CAF）来精化关键点位置。这些技术利用正则化潜空间，在具有挑战性的水下条件下融入人体结构信息。我们的统一训练策略将姿态估计损失、不确定性建模和专家负载均衡整合在一个端到端的优化框架内，减少了多阶段训练流程的复杂性。

在UW-Human和标准基准上的评估表明，DEA-HPE提高了多项精度指标，在能见度有限的条件下表现尤为突出。结果还表明，分布置信度和结构先验对于不确定性感知的关键点精化具有实用性。

本文的初步版本[12]将确定性感知关键点先验精化（CKPR）模块作为水下姿态估计的即插即用后处理组件引入。本文在此基础上进一步扩展，添加了DE-FEN以在姿态解码前自适应地处理主干特征，在单一端到端目标函数下通过耦合损失联合训练特征增强和不确定性感知精化模块，并扩展了对UW-Human的分析，包括数据集统计、退化分析、专家行为分析和失败案例分析。本文的主要贡献如下。

• •
  我们提出了DE-FEN，一种轻量级动态环境感知特征增强网络。它利用专门的卷积混合专家架构，结合Top-K稀疏激活机制，根据不同的环境条件自适应地处理水下图像。
• •
  我们引入了UA-LSR，一个端到端的不确定性感知潜空间精化模块。它将概率非线性重参数化与确定性感知自适应融合相结合，利用分布置信度和结构先验来精化关键点定位。
• •
  我们利用UW-Human评估了水下光学退化条件下的姿态估计性能，并在UW-Human和标准基准上报告了实验、消融实验、专家激活分析及中间专家特征分析。

各章节摘要

视觉退化环境下的人体姿态估计

人体姿态估计已从传统的热力图方法演进到现代回归和分类范式[14]，但在光照不足、模糊、噪声和遮挡等现实场景中，模型性能急剧下降。Wang等人[7]系统揭示了该模型在常见图像退化下的脆弱性。Su等人[15]通过Retinex启发的分支恢复高频细节，并施加多粒度

问题定义与框架概述

给定一幅水下图像 $I\in {\mathbb{R}}^{H_{\text{in}}\times W_{\text{in}}\times 3}$。动态环境感知特征增强网络（DE-FEN）利用专家路由机制提取鲁棒特征，并生成一维概率分布 ${\mathbf{o}}_{x,k}$ 和 ${\mathbf{o}}_{y,k}$。这些分布随后通过位置解码器 $\psi (?)$ 解码为初步坐标 ${\mathbf{Y}}_{\text{detector}}$ 和置信度分数 ${\mathbf{c}}_{\text{detector}}$。最后，不确定性感知潜空间精化（UA-LSR）模块接收这些初始估计值，将其结合为分布形式

UW-Human数据集

我们采用了UW-Human，一个专为水下环境设计的基准数据集，包含6056张高分辨率图像（4845张用于训练，1211张用于测试），数据来源于网络收集和职业竞技游泳运动员的高质量 footage。数据集包含7084个实例，带有与COCO兼容的17个关键点标注。泳池 footage 由670段来自运动员2024年12月至2025年5月日常训练的连续单摄像头视频组成，网络 footage 则由水下游泳视频和图像构成

结论

我们提出了DEA-HPE，一个将环境自适应特征增强与不确定性感知潜空间精化相结合的水下姿态估计框架。DE-FEN通过稀疏专家路由自适应地调整中间表示，而UA-LSR通过将分布置信度与结构姿态先验相结合来精化关键点位置。在UW-Human和标准基准上，DEA-HPE在视觉退化条件下的姿态定位有所提升，在低能见度水下场景中尤为明显，这表明

作者贡献声明

李智（Zhi Li）： 撰写—原稿撰写、软件、方法论、概念构思。孙子健（Zijian Sun）： 调研、形式化分析、数据整理。丁鑫（Xin Ding）： 可视化、验证、软件。杨铀（You Yang）： 监督指导、项目管理、基金获取、概念构思。冷辉雄（Huixiong Leng）： 资源、数据整理。刘琼（Qiong Liu）： 撰写—审阅与编辑、形式化分析。

利益冲突声明

作者声明不存在任何已知可能影响本文所报告工作的竞争经济利益或个人关系。

致谢

本工作部分得到 国家重点研发计划（项目编号2024YFC3015303）和 湖北省重点研发计划（项目编号2025BAB036）的资助。

Zhi Li|Zijian Sun|Xin Ding|You Yang|Huixiong Leng|Qiong Liu