基于自适应椭圆基元表示学习的摄影图像布局检索

《Pattern Recognition》：Photographic image layout retrieval via representation learning with adaptive ellipse primitives

　　

• •
  面向不规则布局区域的自适应椭圆原语参数化。
• •
  双粒度布局图在多种粒度上建模布局结构。
• •
  置换不变损失与编码器–解码器实现自监督布局嵌入。
• •
  在布局检索任务上取得最优性能，并支持无监督布局发现。

引言

组合原语的空间排列及其相对关系——即布局信息——在决定图像美感、传达图像内容和表达情感方面起着至关重要的作用 [1], [2]。布局检索旨在从数据库中检索具有相似构图信息的图像，在创意辅助、内容感知图像推荐和高效图像管理等方面具有重要应用。

有效的布局检索依赖于学习紧凑且具有表达力的表示。现有的从摄影图像中提取布局表示的方法大致可分为两类：

第一类依赖有监督学习，利用布局类别标注 [3]，但由于标注数据有限，其泛化能力较差。第二类采用弱监督策略，利用与布局信息密切相关的任务，如图像美学评估 [4] 和美学驱动裁剪 [5]。尽管受益于更大规模的数据集，但这些方法由于以下两个原因难以产生有效的布局表示：(1) 布局特征可能与无关信息（如颜色、纹理或语义内容）纠缠在一起，影响布局嵌入的质量；(2) 所利用的任务缺乏对原语之间拓扑关系的显式监督，难以学习准确的布局表示。

这些局限性促使我们探索一种自监督范式，消除对布局标注的依赖，并将布局信息与颜色、纹理和语义信息解耦。

近年来，视觉设计领域（如用户界面 [6] 和平面图 [7]）在自监督布局表示学习方面的进展提供了有价值的启示。这些方法采用自监督的图建模框架，直接对组合原语及其空间关系进行建模和编码。通常，布局被表示为图，其中节点对应于原语（如矩形），边编码拓扑关系。这些图通过编码器–解码器架构进行处理，以自监督的、置换不变的图重建目标为指导，确保编码表示对原语的顺序保持不变。通过这一过程，这些方法在视觉设计图像布局嵌入学习中展现了强大的能力。最近，HLGE 是首次尝试将自监督学习引入摄影图像布局表示。然而，由于采用基于框的建模方式来描述主体区域，它在联合捕捉细粒度原语形状及其拓扑关系方面仍然存在局限性。此外，它将对主体和背景原语一视同仁，未建模其不同的视觉重要性。因此，在自监督范式下为摄影图像学习具有表达力和区分力的布局嵌入仍然具有挑战性。总体而言，摄影图像布局的自监督学习面临以下挑战：

从建模角度来看，视觉设计中的布局原语通常为矩形，易于通过其边界框的中心、高度和宽度进行参数化（如图 1(a) 左侧所示）。相比之下，根据格式塔理论 [8], [9], [10]，摄影图像的布局原语被定义为具有相似外观和语义的图像区域，这些区域的形状比视觉设计图像中的更为复杂。基于边界框的参数化方法在捕捉这些复杂的不规则形状方面存在明显局限性。如图 1(b) 所示，一条弯曲的道路（黄色轮廓）很难用矩形框（红色）来近似。此外，不同的构图模式——如三角形布局和对角线布局（图 1(b) 的上方和下方）——在基于框的表示中可能变得难以区分，导致检索时的布局嵌入不准确。

从监督角度来看，视觉设计中的布局图重建通常依赖语义分割，即将同一语义类别的矩形原语（如按钮、文本块）栅格化到同一张图中，如图 1(a) 所示。然后采用分割损失以置换不变的方式监督编码器–解码器的训练，确保学习到的表示对布局原语的顺序具有鲁棒性。然而，当同一语义类别的原语在空间上相邻或重叠时，其栅格化区域往往会合并为单一连通区域。这导致单个原语的确切数量、边界和相对位置变得模糊不清，从而导致布局表示错误。

为应对这些挑战，我们通过四个概念上相互关联的组成部分来构建摄影布局表示：

首先，针对基于框的表示在捕捉不规则摄影区域方面的局限性（挑战 1），我们提出了一种自适应椭圆原语参数化方法。受高斯混合密度估计的启发 [11]，我们使用一组各向异性椭圆来近似复杂的原语区域，这些椭圆自然地容纳了尺度和方向的连续变化 [12]。

其次，基于这种灵活的参数化方法，我们构建了双粒度布局图（BGLG）。该图作为核心数据结构，将参数化后的椭圆组织成层次化格式：粗粒度节点捕捉全局拓扑关系（如相对位置），而细粒度节点编码详细的形状特征。这种结构有效地建模了摄影图像中固有的布局复杂性。

第三，为处理这种特定的图结构并学习具有表达力的嵌入，我们设计了双粒度分层图神经网络（BGH-GNN）。与标准 GNN 不同，BGH-GNN 专门针对 BGLG 的层次特性进行设计，采用编码器–解码器架构从粗粒度和细粒度两个层次提取布局特征，而无需人工标注。最后，为以自监督方式训练 BGH-GNN 并解决原语排序的歧义问题（挑战 2），我们提出了一种置换不变的双粒度损失。该目标函数驱动网络通过联合最小化拓扑结构和形状细节的重建误差来重建 BGLG，确保学习到的表示既准确又对原语置换具有鲁棒性。

章节摘要

有监督与弱监督摄影布局学习

PCPNet [3] 等监督摄影布局模型直接在密集的布局类别标注上进行训练。生产此类标注的成本限制了可扩展性，并促使大量弱监督工作的涌现，这些工作从相关的构图任务中恢复布局信息。在美学评估方面，HLGCN [4] 在空间图像区域上构建了层次化美学图，但使用质量分数而非布局结构进行监督，而 MUSIQ [13] 学习

方法

本节介绍我们学习摄影图像布局表示的框架。如图 2 所示，所提出的框架首先使用分割网络 Semantic-SAM [33] 从输入图像中提取包含布局原语的区域。然后通过自适应椭圆原语参数化模块将每个区域参数化为一组椭圆。在此基础上，我们构建双粒度布局图（BGLG），联合建模原语的数量、空间

实验

我们在两个公开数据集上设计了布局检索实验，以评估主流方法在提取摄影图像布局表示方面的有效性。这些实验揭示了当前有监督、弱监督和自监督方法在嵌入布局信息方面的局限性，同时突显了我们所提出方法的必要性和优势。此外，我们还进行了消融实验，讨论布局原语粒度和形状的影响，以及

局限性

失败案例的分析表明，原语分割错误可能导致 BGLG 的构建不准确，进而降低布局表示质量和检索性能。如图 11 所示，分割方法将查询图像左上角的长颈鹿错误分类，未能将其识别为主体原语。结果，三个主体应有的三角形排列未能被正确捕捉，导致模型检索

结论

本文提出了一种新颖的自监督框架，用于从摄影图像中学习布局表示以促进布局检索。我们的主要贡献包括：一种自适应椭圆原语参数化方法，用于建模布局原语的任意形状；一种四级双粒度布局图，用于全面的布局表示。我们进一步引入了一种自监督学习方法，采用置换不变的双粒度损失来有效

CRediT 作者贡献声明

赵兆然：撰写 – 初稿、资源、方法论、调查、概念构思。郭文浩：撰写 – 审阅与编辑。卢鹏：撰写 – 审阅与编辑、监督指导。彭旭军：撰写 – 审阅与编辑。

生成式 AI 及 AI 辅助技术在写作过程中的声明

在准备本文的过程中，作者使用了 ChatGPT 来修订某些语法结构、改进表达并辅助语言翻译。在使用该工具/服务后，作者对内容进行了审阅和必要的编辑，并对所发表文章的内容承担全部责任。

利益冲突声明

作者声明以下财务利益/个人关系，可能被视为潜在的利益冲突：彭旭军报告了与 Capital One 的关系，包括：雇佣关系。如有其他作者，他们声明不存在已知的竞争性财务利益或个人关系，这些利益或关系可能影响本文所报告的工作。

赵兆然于 2019 年在北京邮电大学（BUPT）获得通信工程与管理学士学位，目前在中国北京邮电大学人工智能学院攻读计算机视觉方向博士学位。她的研究兴趣包括二维和三维布局表示学习、图神经网络和强化学习。

赵兆然|郭文浩|卢鹏|彭旭军