HiPA-Gen:面向高保真姿态引导人体生成的层级交互感知与对齐

《Electronics》:HiPA-Gen: Hierarchical Interaction Perception and Alignment for High-Fidelity Pose-Guided Human Generation

【字体: 大 中 小 】 时间:2026年08月29日 来源:Electronics 2.9

编辑推荐:

  姿态引导人体图像生成旨在基于参考图像和目标姿态合成目标人物的图像。尽管基于扩散模型的方法近年来在姿态对齐和视觉真实性方面取得了显著进展,但在涉及复杂姿态交互的区域中生成高保真图像仍然是一个挑战,典型问题包括肢体结构混乱和遮挡区域纹理失真。为应对这一挑战,本文提

  
姿态引导人体图像生成旨在基于参考图像和目标姿态合成目标人物的图像。尽管基于扩散模型的方法近年来在姿态对齐和视觉真实性方面取得了显著进展,但在涉及复杂姿态交互的区域中生成高保真图像仍然是一个挑战,典型问题包括肢体结构混乱和遮挡区域纹理失真。为应对这一挑战,本文提出了HiPA-Gen框架,该框架设计用于自动感知复杂交互区域并在其中生成高保真内容。与主要依赖平面骨架条件或隐式注意力响应的现有方法不同,HiPA-Gen显式地对复杂交互区域中的层级空间关系和局部外观先验进行建模。具体而言,研究人员设计了一个双智能体层级推理模块(DHR),其中提示引导推理智能体识别与交互相关的身体部位,层级渲染智能体将推断的关系转换为层级对应姿态(HCP)图。HCP图为肢体重叠、手部遮挡和身体自遮挡提供显式的前后结构线索。为进一步减少局部纹理模糊,研究人员引入了部分先验细节对齐模块(PDA),该模块在HCP引导的部分先验下从源图像中提取区域参考资产(RRA)。这些区域参考随后通过局部增强分支(LEB)注入到姿态条件交互感知细节合成网络(PDS)中,从而在基于扩散模型的合成过程中实现更准确的局部特征融合。在DeepFashion和Market-1501上的实验表明,在所报告的评估协议下,结构相似性、感知质量和分布保真度方面均取得了一致的数值改进。定性结果进一步表明,所提出的框架在具有挑战性的姿态交互场景中能够生成更清晰的肢体边界、更可靠的空间顺序和更一致的服装纹理。
**HiPA-Gen:面向高保真姿态引导人体生成的层级交互感知与对齐框架解读**

**一、研究背景与问题**

姿态引导人体图像生成旨在根据参考图像和目标姿态合成目标人物的新图像,其核心挑战在于既需要与目标骨架保持空间对齐,又需要保持身份、服装纹理和人体结构的连贯性。随着扩散模型与可控生成技术的引入,姿态对齐和视觉真实度已获得显著改善,但现有方法在复杂姿态交互区域仍存在两方面瓶颈。其一,空间关系建模模糊。现有条件输入如二维关键点、骨架图和人体解析图无法显式表达肢体重叠、手部遮挡和身体自遮挡时的前后深度顺序,导致模型难以推断正确的空间层级。其二,结构与纹理失真。现有方法依赖固定裁剪窗口或全局特征响应,缺乏语义定位指导,局部参考易混入背景噪声或邻近纹理,生成结果常出现边界粘连、结构断裂和纹理泄漏。因此,在复杂交互区域实现显式交互感知和局部细节增强,成为高保真姿态引导人体生成的关键研究课题。

**二、研究内容与结论概述**

针对上述问题,研究人员提出了HiPA-Gen框架,即层级交互感知与对齐框架,由姿态条件交互感知细节合成网络(PDS)、双智能体层级推理模块(DHR)和部分先验细节对齐模块(PDA)三个核心组件构成,并集成局部增强分支(LEB)。该框架通过将交互区域的隐式歧义转换为显式空间分层条件,有效解决了二维骨架无法表达前后遮挡顺序的问题,同时通过区域参考资产的提取与注入缓解了全局特征丢失局部细节的问题。在DeepFashion和Market-1501数据集上的实验表明,HiPA-Gen在结构相似性(SSIM)、感知距离(LPIPS)和分布距离(FID)指标上均取得一致改进,定性结果也显示其生成了更清晰的肢体边界、更可靠的空间顺序和更一致的服装纹理。该论文发表在《Electronics》上。

**三、主要关键技术方法**

作者采用的主要技术方法包括:(1)基于Qwen2.5-VL-7B-Instruct的提示引导推理智能体,以固定提示协议和JSON模式输出结构化交互语义;(2)基于Grounding DINO和SAM的开放词汇部件定位与分割流程;(3)基于DW-Pose的姿态检测与骨架渲染;(4)基于Stable Diffusion v1.5和参考U-Net的扩散生成主干;(5)交互区域局部损失约束。样本队列来源方面,DeepFashion包含101,966个训练对和8,570个测试对,Market-1501包含263,632个训练对和12,000个测试对。

**四、研究结果**

**4.1 实现细节**:在DeepFashion和Market-1501数据集上分别训练和评估模型,使用DW-Pose提取姿态结构,DHR仅基于目标姿态表示进行分析。生成网络以Stable Diffusion v1.5初始化,在8块NVIDIA A100 GPU上训练100,000次迭代,采用混合精度和每GPU批量大小为4的设置。

**4.2 与最新方法的比较**
**4.2.1 定量比较**:与Def-GAN、PATN、ADGAN、PISE、GFLA、DPTN、NTED、CASD、PoCoLD、PIDM、CFLD和PCDMs共12种代表性方法进行比较,HiPA-Gen在DeepFashion和Market-1501上的SSIM、LPIPS和FID指标均取得最优结果。区域级评估显示,在复杂交互区域中,DeepFashion上ROI-SSIM从0.6128提升至0.6296,ROI-LPIPS从0.2487降至0.2329;Market-1501上ROI-SSIM从0.2416提升至0.2491,ROI-LPIPS从0.3184降至0.3117。

**4.2.2 定性比较**:视觉对比显示,现有方法在手部重叠、手-躯干交互、手臂交叉和身体自遮挡场景中常出现手部模糊、前后关系错误、边界粘连和纹理泄漏;HiPA-Gen通过HCP提供层次线索,并经PDA和LEB实现局部参考显式注入,生成的肢体边界更清晰,服装纹理更一致。

**4.3 消融研究**
**4.3.1 定量评估**:分别移除DHR、LEB、PDA和局部损失后,各项指标均出现退化。移除DHR导致SSIM下降最大,表明其结构推理作用关键;移除LEB导致LPIPS和FID升高最明显,说明显式区域特征注入对感知质量和分布对齐的重要性;移除PDA后模型不再获得对齐的局部外观参考;仅移除局部损失而保留完整架构时四项指标均下降,证明区域监督独立于架构组件发挥作用。

**4.3.2 定性评估**:视觉消融显示,缺少DHR时模型无法确定手臂与躯干的前后关系,产生模糊的空间排序;缺少LEB时局部边界不稳定、服装纹理退化;缺少PDA时部分先验区域参考提取和对齐能力下降,导致交互区域局部外观一致性较弱。完整模型生成的肢体结构和服装纹理最接近真实图像。

**4.4 总结**:实验证实,复杂姿态引导人体生成不能仅依赖全局姿态条件或隐式注意力,准确生成交互区域需要显式交互感知、可靠局部参考提取和有效的局部特征注入。

**五、讨论与结论**

研究指出,复杂交互区域存在两个互补的错误来源:二维骨架无法描述重叠肢体间的前后顺序,以及全局源特征可能丢失区域特有外观细节。DHR将推断的交互关系转化为分层HCP图以解决前者,PDA和LEB通过局部化参考提取与注入解决后者。该公式化方法还可推广至其他涉及遮挡的条件生成任务。研究结论为:HiPA-Gen通过层级交互感知、部分先验细节对齐和姿态条件细节合成三个阶段的分解,有效改善了复杂姿态交互场景下的结构准确性和视觉真实度。研究同时承认以下局限:当前框架仅针对单人姿态引导生成,多人交互会产生更复杂的遮挡关系;HCP和RRA的质量依赖姿态检测、关系推理和局部部件匹配的准确性,高置信度的错误前后关系可能被编码进HCP图;评估仅覆盖DeepFashion和Market-1501两个数据集。未来工作将考虑扩充生成基准、多人交互场景、更强遮挡条件以及更高分辨率合成。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号