基于相对位置描述符监督的空间感知图像表征学习框架SpIRL及其在视觉关系检测中的应用

针对卷积神经网络在空间关系推理上的不足，本研究提出SpIRL框架，通过对称力旗（sFB）描述符引导的Triplet Loss和自编码器策略，在合成数据集上实现空间感知表征学习。实验表明该框架在VRD和CBIR任务中显著提升空间关系识别精度，为克服语义偏差提供了新思路。

　　

在计算机视觉领域，图像表征的质量直接影响着目标检测、图像检索等下游任务的性能。尽管深度学习模型在语义特征提取方面表现出色，但它们在空间关系推理上仍存在明显短板——当需要理解物体间的相对位置（如"左侧""上方"）时，现有模型往往依赖语义线索而非真实空间配置。这种缺陷在视觉关系检测(VRD)和场景图生成等任务中尤为突出，因为模型容易陷入"天空通常在物体上方"这类语义捷径，而忽略实际的空间布局。更棘手的是，现有数据集的空间关系标注存在固有模糊性，同一空间配置可能被不同观察者标注为不同关系，这种主观性进一步阻碍了模型对空间信息的准确捕捉。

针对这一挑战，来自中国的研究团队在《Pattern Recognition》发表了创新性研究。他们提出SpIRL（SPatially-aware Image Representation Learning）框架，通过两种无监督策略将传统相对位置描述符(RPD)的几何优势与深度网络的表征能力相结合。研究团队首先构建了包含4.4万张合成图像的SharvitRelations数据集，其特点是仅包含空间关系标注而剥离语义信息。基于此，开发了对称力旗(sFB)描述符，通过多力级角度矩阵对称化传统Force Banner，有效解决物体顺序敏感性难题。

关键技术包括：1）基于sFB相似度的动态三元组采样策略，通过余弦距离筛选难正负样本；2）卷积自编码器(CAE)架构，以sFB为重建目标迫使编码器捕捉空间特征；3）采用环形填充和定制卷积核的CNN架构；4）提出高斯加权NDCG新指标评估空间相似性。

研究结果部分，在空间关系识别(SRR)任务中，SpIRL框架将硬错误率降低23%。特别值得注意的是，当考虑相邻关系标注的"软错误"时（如将"左上"误判为"上方"），模型准确率提升显著，证实其能捕捉空间关系的连续变化特征。在基于内容的图像检索(CBIR)实验中，采用新型空间评估指标显示：在SpatialSense数据集上，SpIRL-Triplet使NDCG₁₀达到76.24%，较基线提升3.04个百分点；在Unrel非常规关系数据集上，CAE策略的NDCG₂₅达85.20%，证明其对非常规空间配置的强泛化能力。

可视化分析揭示，经SpIRL训练的编码器在t-SNE投影中形成按空间关系连续分布的流形结构，与ImageNet预训练模型形成的语义主导聚类形成鲜明对比。案例研究显示，对于"汽车在道路上"这类查询，传统模型易受语义干扰返回错误空间布局的图片，而SpIRL能稳定检索出具有相似V型sFB模式的图像，证实其真正关注几何特征而非物体类别。

该研究的突破性在于：首次实现RPD与深度网络的端到端协同训练，开辟了"几何先验引导表征学习"的新范式。所提出的对称力旗描述符解决了传统方法的方向敏感性缺陷，其矩阵形式天然适配卷积操作。更重要的是，这项工作揭示了空间关系评估中语义标注的局限性——通过证明软错误率与人类视觉判断的高度一致性，质疑了现有VRD数据集的二进制标注合理性。未来，这种空间感知表征可集成到多模态架构中，为视觉问答、机器人环境理解等需要精确空间推理的任务提供新解决方案。研究团队指出，当前框架对拓扑关系（如"包含"）的处理仍待改进，这将是后续研究的重要方向。