RefineHOS：融合细粒度空间特征的高性能手-物分割框架

《Computer Vision and Image Understanding》：RefineHOS: A high-performance hand-object segmentation with fine-grained spatial features

本文提出RefineHOS框架，针对手-物交互（HOS）中因相互遮挡、手指自相似性及高灵活性运动导致的精确分割难题，通过引入增强特征金字塔路径（AFPN）、双重注意力模块（DAM）及三重注意力模块（TAM）优化特征提取与分割头，并结合边界细化模块（BRM）提升边界细节。实验在VISOR、Ego-HOS等数据集上验证其领先性能，并引入边界平均精度（Boundary AP）作为补充评估指标。

　　

Highlight

RefineHOS框架通过集成多重注意力机制与边界优化策略，显著提升了手-物交互场景下的分割精度与边界清晰度。

Related works

近期，大量研究利用深度学习网络进行手部或物体分割。本节重点综述手部分割、手-物交互分割领域的进展，以及当前该领域主流数据集。

Method

现有手-物交互分割算法多采用两阶段Mask R-CNN及其变体。基于此，我们提出一种高质量分割方法，结合RefineMask与PointRend思想，利用细粒度特征优化分割过程。

Datasets

为验证方法普适性，我们在三个手-物分割数据集上开展实验：EPIC-KITCHENS VISOR、Ego-HOS和ENIGMA-51。

EPIC-KITCHENS VISOR：包含EPIC-KITCHENS 100的36小时视频数据，涵盖272K人工语义掩码、257个物体类别及990万插值密集语义掩码。

Ego-HOS：聚焦第一视角下的手-物交互，提供高分辨率标注。

ENIGMA-51：包含复杂遮挡与小尺度实例，挑战性较高。

Conclusion

本研究通过优化特征提取模块、分割流程与边界处理，有效解决了手-物分割中精度低、边界模糊的问题。实验表明，RefineHOS在多个数据集上均实现稳定且显著的性能提升。