面向HOI检测的框感知反馈与结构化注意力方法

《Optics & Laser Technology》：Box-aware feedback with structured attention for HOI detection

　　

摘要

人-物交互检测旨在同时在图像中实现人类和物体的精确定位以及交互语义的识别。尽管基于Transformer的方法已取得进展，但仍面临任务协同不足、细粒度特征提取困难以及计算效率低等挑战。本文提出了一种将结构化注意力与框感知反馈相结合的模型（BAF-Satt）。其核心是一个框感知反馈调制机制，该机制通过动态注入检测框的几何信息来协调定位和分类任务。为了捕捉容易忽视的关键交互细节，我们设计了一个跨区域知识学习模块，该模块通过增强显著区域特征并整合视觉先验来聚焦微妙的交互线索。此外，为了解决Transformer的高计算成本，我们引入了一种轴对角注意力模块，通过注意力的轴对角分解和位置编码的嵌入来显著降低计算复杂度。在V-COCO和HICO-DET数据集上的实验表明，所提出的方法优于现有的最先进模型，验证了其有效性。

引言

近年来，人-物交互检测任务在推动更深层次的场景理解方面发挥着越来越重要的作用[1]。人-物交互检测旨在同时定位图像中的人类和物体，并准确识别和分类它们之间的交互关系[2]、[3]。该任务通常以三元组 $?\text{human, action, object}?$ 的形式表示，广泛应用于图像描述生成、智能监控和动作检索等关键计算机视觉领域[4]、[5]。

传统的人-物交互检测方法大致可分为两阶段、一阶段和基于Transformer的方法。早期的两阶段范式通常首先利用高性能的目标检测器确定所有实体的位置和类别，然后通过交互识别模块对穷举配对的人-物对执行动作分类[6]。尽管这种方法展示了可靠的准确性并可以有效整合人体姿态等外部信息[7]、[8]、[9]，但其固有的顺序执行机制限制了推理速度，且其性能严重依赖于上游目标检测器的质量[10]。

为了提高检测速度，随后引入了一阶段方法[11]。这些方法通过直接预测交互点或联合框来表示人-物交互，从而绕过了对独立目标检测器的依赖[12]、[13]、[14]。虽然一阶段方法显著减少了推理时间，但在复杂或拥挤场景中可能会遇到交互点模糊、重叠或语义不明确等问题，此外还伴随着复杂后处理步骤的额外限制[15]。

近年来，基于端到端Transformer的方法凭借其强大的自注意力机制在捕捉长距离上下文依赖方面的优势，已成为人-物交互检测的主流[16]。这类方法通常采用编码器-解码器架构[17]，通过查询机制直接输出最终的三元组预测，从而大大简化了检测流程[18]、[19]。然而，现有的Transformer架构在应用于人-物交互检测时仍面临多个关键挑战[20]。

首先，在任务协同方面，模型通常使用单一查询来同时完成定位（人类和物体）和交互分类这两个截然不同的任务。这种固有的任务冲突使得解码器难以在定位精度和动作识别的判别力之间取得最优平衡[21]。此外，定位信息（如几何属性和边界不确定性）与交互推理过程之间缺乏有效的动态反馈和协调机制，这严重限制了模型对复杂场景和姿态变化的鲁棒性[22]。

其次，在特征捕捉效率和尺度问题方面，Transformer自注意力的计算复杂度随输入尺寸呈二次增长[23]，这使得模型难以高效处理高分辨率或多尺度特征图[24]、[25]。因此，这影响了其捕捉小规模、远距离或剧烈变化的实例特征的能力[26]。此外，虽然传统注意力机制能够捕捉特征图上的全局依赖，但它们往往难以有效整合细粒度的局部细节[27]，从而损害特征质量[28]。

最后，在关系建模深度方面，现有的注意力机制主要关注二阶关系（点到点相关性），但在捕捉更高阶的统计依赖和图像区域之间的深层语义关联方面能力有限[29]、[30]。这使得模型在处理具有相似视觉特征但涉及复杂微妙交互关系的场景时，难以学习足够的判别性上下文知识[31]、[32]。

为了解决上述架构冲突、鲁棒性不足以及特征捕捉效率低的问题，我们提出了一系列创新模块和机制，旨在实现更精细高效的人-物交互检测。首先，为缓解定位与推理之间反馈缺失的问题，我们设计了一个框感知反馈调节机制。该机制将检测框的几何和不确定性信息动态反馈到交互解码器，从而实现从检测任务到关系推理的精确引导，有效增强跨任务协同[33]。

其次，为克服Transformer模型在高效捕捉全局依赖和细粒度区域相关性方面的局限性，我们提出了一种轴对角注意力模块。该模块沿图像的轴方向嵌入相对位置编码并进行注意力计算，旨在以近线性的计算复杂度高效整合全局依赖与局部细节[34]。这有效解决了对小尺寸或尺度变化的实例的检测挑战[35]。

最后，我们构建了一个跨区域知识学习模块。通过计算键和值投影之间的交叉协方差矩阵来求得注意力权重，增强了图像中语义相关部分之间的相关性。这种方法也促进了人-物交互检测中人类和物体特征的理解[36]。该模块创新性地利用协方差注意力来建模图像区域之间的更高阶统计依赖。通过在解码过程中引入更深层次的判别性上下文知识，它增强了模型捕捉微妙特征和区域之间隐含关系的能力[37]。我们的贡献总结如下：

• •
  提出了一种框感知反馈调节机制，为几何信息和不确定性建立了动态反馈通路，实现了从定位任务到交互推理任务的持续协同和精确引导。
• •
  设计了轴对角注意力模块，将全局注意力分解为轴对角计算，在保持全局建模能力的同时显著降低了计算复杂度。
• •
  提出了跨区域知识学习模块，基于协方差注意力机制建模图像区域之间的高阶统计依赖，从而增强了模型对细粒度交互线索的判别能力。

我们在HICO-DET和V-COCO数据集上进行了全面实验，证明了所提出的方法优于现有的最先进方法，验证了其在人-物交互检测中的优越性。

章节摘要

相关工作

本节按照三个逻辑递进的子章节组织，分别对应我们的三项核心技术创新，以便系统性地对比我们的BAF-Satt与现有的任务解耦流水线、高效注意力设计以及高阶区域建模方法。我们在开头简要概述了传统的两阶段和一阶段范式，并压缩了冗余描述，以更好地突出我们所提出模块的独特优势。

早期的两阶段方法[1]、[38]，

总体模型架构

该方法如图1所示。输入图像首先通过CNN骨干网络处理以提取特征图，然后将特征图展平并输入编码器。编码器模块由一个共享的基础编码器和三个任务特定的头部编码器组成，其中轴对角注意力机制为每个解码子任务提取富含上下文信息的图像令牌。在人类和物体解码器中，跨区域知识学习模块对其进行精炼

实验

本节中，我们呈现了详细的实验分析和一系列消融研究，以验证所提方法的有效性。

结论

在本文中，我们解决了人-物交互检测中的关键挑战，包括任务协同不足、细粒度交互线索捕捉困难以及基于Transformer架构的高计算负担。为此，我们提出了BAF-Satt，一种将框感知反馈调制机制与结构化注意力相结合的新型模型。核心反馈机制动态注入检测框的几何先验，有效地桥接了

作者贡献声明

李华宝： 撰写-审阅与编辑、撰写-初稿、可视化、验证、监督、软件、调查。桑海峰： 资源、方法论、调查、资金获取、形式化分析、数据管理、概念构思。刘青： 监督、形式化分析、数据管理。何大阔： 验证、监督、项目管理、调查。

资金支持

本工作由国家自然科学基金（62573102）资助；同时还获得了辽宁省重点研发计划（2024JH2/102400028）的资助。

利益冲突声明

作者声明，他们没有已知的 competing 经济利益或个人关系可能影响本文所报告的工作。

李华宝|桑海峰|刘青|何大阔