探索基于视觉-语言模型的表示学习方法，用于开放词汇表中的物体识别（HOI）任务

《Computer Vision and Image Understanding》：Exploring representation learning from vision-language models for open-vocabulary HOI detection

开词汇癖检测CLIP模型自然语言指导轻量级特征学习新类别检测

　　

陈春燕|滕 Zhu|张宝鹏

北京交通大学，中国北京市海淀区上园村3号，邮编100044

摘要

人机交互（HOI）检测对于通过识别人类和物体并解析它们之间的交互关系来理解复杂场景至关重要。传统的HOI检测方法通常依赖于一系列预定义的交互类别，这限制了它们泛化到新的、未见过的类别的能力，从而影响了在开放词汇场景中的可扩展性。受到大型视觉语言模型（VLMs）的启发，我们的方法利用自然语言来促进新HOI类别的检测。在本文中，我们提出了一个简洁而强大的开放词汇HOI检测框架，该框架利用CLIP的先验知识来增强对新HOI类别的泛化能力。我们提出了一个新颖的特征表示模块，该模块结合了轻量级的、可训练的线性层来获取新知识。此外，我们的方法使用手动策划的HOI描述词和独立的交互标签作为CLIP文本编码器的输入，从而生成与视觉语言空间中的视觉表示对齐的文本表示。我们在HICO-DET和SWIG-HOI上进行了广泛的实验，我们的实验评估表明，我们的框架在开放词汇基础的HOI检测中显著优于现有的最先进方法，特别是在涉及未见过的和罕见类别的场景中。

引言

人机交互（HOI）检测对于场景理解至关重要，其目标是定位图像中的人类和物体并确定它们之间的交互——具体来说，是识别<人类，>三元组。这项视觉任务在智能监控、辅助驾驶和医疗保健等应用中至关重要。近年来，许多研究探索了各种HOI检测方法。然而，大多数现有方法依赖于预定义的词汇表，这使得它们难以适应开放词汇设置。现实世界中的HOI类别是多样的，数据集覆盖所有可能的交互情况是不现实的。开放词汇HOI检测旨在识别训练期间未遇到的类别。以前的HOI检测方法主要依赖于纯视觉方法（Gkioxari等人，2018年；Gao等人，2018年；Li等人，2019年），这些方法缺乏语义上下文信息，限制了模型学习新知识的能力。大规模视觉语言模型的发展现在使得更有效的开放词汇HOI检测成为可能。

近年来，计算机视觉和自然语言处理的快速发展推动了多模态学习的重大进展。特别是CLIP模型（Radford等人，2021年），它整合了视觉和语言理解能力，因其能够学习共享的视觉-语言表示空间而受到了广泛关注。该模型能够高效地将图像与文本对齐，在对象检测、语义分割和图像-文本生成等各种任务中表现出广泛的泛化能力。随后，有大量研究将CLIP的双重知识应用于人机交互（HOI）检测（Liao等人，2022年；Ning等人，2023年；Lei等人，2024年；Wang等人，2022年；Cao等人，2024年），这对于辨别场景中的复杂关系至关重要。在创新方法中，零样本HOI检测方法利用知识蒸馏，将CLIP模型的洞察力转移到HOI分类器中。例如，EoID（Wu等人，2023年）方法使用区域级蒸馏来生成动作概率分布，从而促进以前未见过的HOI类别的检测。尽管这种方法有效，但它需要大量的训练数据并且效率较低。更近期的开放词汇HOI检测技术（Lei等人，2024年；Wang等人，2022年）利用HOI标签作为自然语言监督，利用CLIP模型的基础知识来检测更广泛的HOI类别。CMD-SE（Lei等人，2024年）方法通过结合GPT模型生成的体部分状态描述来进一步增强检测准确性和泛化能力。

虽然在检测未见过的HOI类别方面取得了一些进展，但将CLIP模型微调以有效地将其视觉和语言知识转移到HOI检测中仍然面临重大挑战。传统方法主要依赖于独立的类别标签，忽视了HOI文本描述在上下文理解中的关键作用。之前的零样本方法使用HOI文本表示来初始化分类器，往往难以充分利用语义信息，尤其是在具有多种交互的复杂场景中。此外，学习HOI知识通常只使用部分样本数据进行训练。使用如此有限的样本对CLIP模型进行微调可能导致灾难性遗忘——模型在学习新信息时丢失先前获得的知识——以及过拟合——模型可能过于适应训练数据中的噪声和细节。这种过度适应可能导致模型将新类别误认为是已知类别，从而降低其整体泛化能力。为了提高开放词汇HOI检测的性能，不仅需要有效地整合和吸收新的见解，还需要保留模型现有的知识。

为此，我们提出了一种名为RLHOI的方法，通过使用表示学习对CLIP模型进行微调来增强开放词汇HOI检测。这种方法首先在端到端框架内使用HOI文本描述作为文本提示，从而能够检测新的HOI类别。通过这种方式，RLHOI不仅利用了CLIP模型中嵌入的预训练知识，还通过自然语言处理丰富了其深度语义洞察力。这种双重探索显著提高了模型理解和分类新交互的能力。手动策划的HOI描述词在丰富HOI检测的语义空间中起着至关重要的作用。我们设计了这些描述词，以封装特定于交互的语义。例如，我们将动作动词与物体类别结合起来生成有意义且具有上下文意识的描述，如“一个人骑自行车”或“一个人弹吉他”。这种策划的设计确保文本表示与CLIP空间中的视觉特征有效对齐，从而提高了新HOI类别的检测能力。为了降低与少量样本微调相关的灾难性遗忘和过拟合风险，我们设计了一个轻量级的HOI视觉特征表示学习器。这个表示学习器对于有效地转移预训练知识、无缝整合CLIP的预训练视觉特征和微调后的HOI视觉特征至关重要。通过最小化参数调整，它显著降低了过拟合的可能性。这种方法保持了CLIP模型的基础优势，该模型已在大量数据集上进行了预训练，同时针对特定的HOI任务进行了定制，确保了对新任务的强大泛化能力。

总结来说，我们的主要贡献有三个方面：

(1) 我们提出了一种端到端的开放词汇方法，用于人机交互（HOI）检测，该方法利用CLIP模型探索图像和文本的表示学习。这种方法促进了人类和物体之间交互的更灵活和详细的分析。

(2) 我们为HOI任务设计了一个轻量级的视觉表示，有助于从CLIP模型高效地转移知识，显著提高了模型解释和处理与人类-物体交互相关的复杂视觉内容的能力。

(3) 我们使用广泛采用的基准测试（包括HICO-DET和SWIG-HOI）进行了广泛的实验。这些实验的结果清楚地表明，我们的方法在开放词汇HOI检测中树立了新的最佳标准。

部分摘录

人机交互检测

当前的HOI检测方法大致可以分为两阶段方法和一步法。两阶段方法（Li等人，2019年；Cao等人，2023年；Gao等人，2020年；Lei等人，2023年；Zhang等人，2022年；Chao等人，2018年）首先使用像Faster R-CNN（Ren等人，2016年）这样的预训练对象检测器来识别人类和物体的边界框，然后对这些对进行交互分类。这些方法通常利用人类和物体的视觉特征、空间特征（

方法

在本节中，我们详细介绍了基于CLIP模型的RLHOI方法，该方法在端到端的开放词汇框架中运行。我们首先在第3.1节定义了开放词汇HOI检测的问题。随后，在第3.2节中概述了所提出的RLHOI的完整架构。第3.3节和第3.4节探讨了HOI表示学习器和HOI检测。最后，第3.5节提供了训练和推理过程的概述，

实验设置

数据集。我们的实验在两个广泛使用的公共数据集上进行：HICO-DET（Chao等人，2018年）和SWIG-HOI（Wang等人，2021年）。HICO-DET数据集包含47,776张图像，分为38,118张训练图像和9,658张测试图像。它标注了600个人机交互（HOI）三元组，涵盖80个物体类别和117个动作类别。值得注意的是，其中138个被归类为罕见的HOI类别，每个类别的训练实例少于10个。相比之下，其余的462个

结论

在这项工作中，我们提出了RLHOI，这是一个端到端的开放词汇HOI检测模型，采用“预训练-微调”范式将CLIP知识有效地转移到HOI检测任务中。我们的RLHOI将HOI标签和交互描述作为自然语言监督输入，利用CLIP的视觉空间特征进行高效的交互表示学习。我们通过使用交互

CRediT作者贡献声明

陈春燕：软件、概念化、写作——原始草稿、验证、调查、可视化、方法论、形式分析。滕 Zhu：写作——审阅与编辑、资金获取、监督、资源、概念化。张宝鹏：形式分析、数据整理、方法论、概念化。

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。

致谢

本工作得到了中央高校基本科研业务费（2024JBMC008）和国家自然科学基金（62472025）的支持。

陈春燕于2018年获得北京交通大学的学士学位。她目前正在北京交通大学攻读硕士学位。她目前的研究兴趣包括计算机视觉和人工智能。