融合分割掩码的视觉基础模型驱动人-物交互预测框架（Seg2HOI）

《Scientific Reports》：Foundation model-driven framework for human–object interaction prediction with segmentation mask integration

　　

在本工作中，研究人员提出了一种新颖的框架——分割到人-物交互（Segmentation to Human–Object Interaction, Seg2HOI），该框架将基于分割的视觉基础模型（vision foundation model）与人-物交互（human–object interaction, HOI）任务相集成，区别于传统的基于检测的HOI方法。该方法不仅预测标准三元组（triplets），还引入四元组（quadruplets），即通过在HOI三元组中加入人-物对的分割掩码来扩展预测内容，从而增强HOI检测能力。具体而言，Seg2HOI继承了视觉基础模型的属性（如可提示机制（promptable）与交互机制），并引入隐式关系学习解码器（implicit relation-learning decoder），将这些属性应用于HOI任务。通过冻结视觉基础模型，Seg2HOI保留了其原有能力，同时利用像素级掩码引导（pixel-level mask guidance）支持高层关系推理。尽管仅针对HOI任务进行训练，且未附加针对上述属性的额外训练机制，该框架仍表明这些特性能够高效运作。在两个公共基准数据集上进行的大量实验表明，即使在零样本（zero-shot）场景下，Seg2HOI也能取得与最先进方法（state-of-the-art）相当的性能。最后，研究人员提出Seg2HOI能够从训练期间未使用过的新型文本提示和视觉提示生成HOI四元组及交互式HOI分割，凭借这种灵活性可广泛应用于多种场景。

**研究背景与问题**

理解人-环境交互对构建有效的交互系统至关重要，机器需要以自然且上下文感知的方式解释和响应人类行为。尽管以GPT-4为代表的大语言模型在语言理解方面表现出色，但在协作系统和机器人等实际应用中，准确决策需要语言理解与视觉理解的结合。计算机视觉领域中的人-物交互（human–object interaction, HOI）研究因此受到广泛关注。传统HOI方法仅限于识别<human, object, action>三元组，限制了其在更广领域的适用性。现有HOI研究趋势严重依赖传统监督学习方法，数据需单独收集且模型需针对特定任务重新训练，资源消耗大，在处理需要联合掩码（union mask）的复杂交互时也不切实际；同时现有HOI数据集缺乏准确的人-物对掩码标注。分割任意模型（Segment Anything Model, SAM）已证明分割任务可作为多种下游任务的基础，但分割聚焦像素级低级特征，而HOI任务需要高层特征，两者结合极具挑战。已有研究尝试联合训练多任务模型，但依赖真实人-物对与分割掩码标注，与研究人员所追求的——在保留基础模型原始任务的同时添加新任务、无需重新训练整个模型——有本质区别。为此，研究人员提出Seg2HOI框架，将冻结的分割基础模型扩展到HOI任务，通过轻量级HOI专用解码器级联附加，在保留基础模型低级特征提取能力的同时，实现HOI四元组预测与开放词汇交互式HOI分割。

**研究内容与总体结论**

Seg2HOI框架由冻结的视觉基础模型与下游HOI解码器构成，采用隐式交叉注意力在人类与对象特征间学习关系，避免显式配对，并可扩展至对象-对象交互（Object-Object Interaction, OOI）。该框架在单一架构中集成HOI检测、分割、零样本迁移和交互提示，无需重新训练。两个公共基准数据集上的实验表明，Seg2HOI在闭集与开集HOI任务中均达到与最先进方法相当的性能，同时保持基础模型原始能力，展示了在场景理解、机器人与增强现实等领域的应用潜力。

**关键技术方法**

研究人员采用冻结的MaskDINO（ResNet-50/Swin-L）作为视觉基础模型，并以SEEM（Focal-T）验证框架对视觉-语言模型的通用性。核心方法：（1）隐式人-物关系学习——通过对象分支与人类分支的查询对齐和交叉注意力学习关系特征，无需显式配对；（2）多头HOI预测——六个输出头分别预测动作类、自类、交互类、交互边界框、联合掩码与交集掩码；（3）HOI掩码伪标注——利用基础模型实例掩码与真实边界框匹配生成伪标签，以自监督方式训练HOI分割；（4）基于CLIP文本嵌入的分类器与提示推理，支持开放词汇与交互式分割。实验数据集为HICO-DET（47,776张图像、151,276个HOI实例）与V-COCO（10,346张图像、16,199个人物实例），并构建v-coco-clean子集用于交互式分割评估。

**研究结果**

*与最先进HOI方法的比较：* 在V-COCO上，Seg2HOI在冻结检测器的两阶段HOI模型中取得最先进性能，S1/S2角色AP为67.3/69.2；在HICO-DET上，检测器仅在MS-COCO微调时取得最佳性能，非稀有类别默认设置较PViC提升6.3% mAP。

*四元组定量结果：* 基于V-COCO真实掩码评估，联合掩码在ResNet-50/Swin-L骨干下取得85.4–85.8% mIoU、91.6–91.9% mDice和97.0–97.2% AP₅₀，匹配召回率83.1–85.5%；预测掩码mIoU显著优于伪标签（76.5–79.6%），表明掩码头细化含噪监督而非简单复制。

*四元组定性结果：* Seg2HOI在广泛HOI组合上实现干净且高质量的HOI联合掩码与交集掩码输出，证明伪标签方法可有效训练HOI解码器并提取与分割分支特征对齐的掩码特征，无需微调基础模型。

*未见组合：* 基于SEEM的Seg2HOI在稀有优先（RF-UC）与非稀有优先（NF-UC）全类别上相对FCL分别提升10.5%和8.8%，未见类别上超越FCL 6.9和1.4 mAP；无需零样本专用损失即取得更优性能，消融证实掩码对零样本学习有积极贡献。SEEM利用CLIP嵌入在RF-UC未见类别上较MaskDINO提升23%，与完全微调的GEN-VLKT相当。

*未见对象：* 基于SEEM的模型在未见类别上相对ATL和FCL显著提升，与同样利用CLIP的GEN-VLKT性能相当；相对基线提升89.9%，较冻结骨干的ATL提升81.6%，证实CLIP文本嵌入与HOI掩码的有效性。

*零样本四元组定性结果：* 在未见组合与未见对象数据集上训练的模型可准确检测未见HOI组合与未见对象，所得分割掩码质量与闭集生成的HOI掩码相当。

*交互式HOI分割定量结果：* 指代分割中，σ^text使对象覆盖率从SEEM的12.1%提升至79.4%，平衡F值（bal.-F）从55.1提升至74.5；交互式细化中，零点击初始化达到bal.-F 0.90所需点击数降至3.2/3.8次，优于SEEM（4.4/4.9）与SAM2（5.3/5.7），主要增益体现在点击效率。

*交互式HOI分割定性结果：* 模型基于视觉提示（点、笔画）可同时分割交互人类；基于文本提示、未见组合提示、抽象提示与未见对象提示均可产生合理四元组结果，但未见对象情况下存在个别错误预测。

*HOI分割掩码的影响（消融）：* 无掩码基线性能最低；仅联合掩码m^U在V-COCO S1/S2提升2.0/1.8 mAP；联合+交集掩码m^I组合取得最佳效果（67.3/69.2 AP），且通过标准三元组mAP证实掩码监督改善了传统三元组检测性能。

*伪标签质量分析：* 冻结模型生成的联合伪掩码mIoU为76.5–79.6%，监督信号可靠；交集伪掩码因接触区域小、边界像素主导IoU而噪声较高，故仅作为降权的辅助线索。

*HOI解码器层数L的影响：* 3至9层实验中，9层较6层在S1/S2仅提升0.3/0.4 AP，综合考虑参数效率，6层作为默认配置。

*HOI解码器架构与隐式关系学习的影响：* 单分支解码器仅达60.41/62.56 AP；加入关系查询Q_d后提升至62.31/64.64；完整双分支模型达67.30/69.20，未加Q_d时为66.39/68.66，证明双分支结构与Q_d均对性能有贡献。

*基础模型性能保持验证：* COCO val2017上，集成后的检测与分割AP基本不变（与集成前复现结果相差至多0.05 AP，与官方MaskDINO相差至多0.08 box AP、0.03 mask AP），SEEM的panoptic PQ、实例mAP和语义mIoU变化均在±0.1以内，证实HOI解码器为非破坏性附加适配器。

**讨论与结论**

讨论部分指出，现有HOI研究普遍通过在HICO-DET上微调骨干网络提升性能，但该方法会修改基础模型权重，可能损害原始基础任务能力；Seg2HOI通过冻结基础模型提供了平衡方案，同时保持分割与检测等基础任务性能。研究结论为：Seg2HOI以隐式方式将冻结的视觉基础模型适配到HOI理解任务中，通过引入交互掩码将传统HOI三元组扩展为四元组，有效改善了模型性能并展示了广泛的应用潜力；在保持骨干冻结的条件下于HICO-DET数据集取得最先进结果，并在零样本数据上表现出鲁棒性。总体上，Seg2HOI将掩码增强的HOI公式、像素级引导的关系推理与非破坏性的基础模型集成相结合，为基于检测与分割等基础任务的场景理解提供了高效途径，是迈向基于分割的HOI研究的初步探索。