《Pattern Recognition》:Mesh-free stitched image rectangling via multi-scale iterative flow estimation
编辑推荐:
•通过逐像素直接变形实现无网格拼接图像矩形化。•无掩膜特征提纯以利用判别性特征间相关性。•迭代多尺度流消除级联畸变不一致性。引言图像拼接技术能够无缝融合从多个视角拍摄的图像,在智能手机全景摄影 [1]、自主机器人导航 [2] 和沉浸式虚拟现实 [3] 等广泛领域中有着大量应用
- •
通过逐像素直接变形实现无网格拼接图像矩形化。
- •
无掩膜特征提纯以利用判别性特征间相关性。
- •
迭代多尺度流消除级联畸变不一致性。
引言
图像拼接技术能够无缝融合从多个视角拍摄的图像,在智能手机全景摄影 [1]、自主机器人导航 [2] 和沉浸式虚拟现实 [3] 等广泛领域中有着大量应用。由于拼接过程中的对齐变换,拼接结果通常存在不规则边界和空白区域,这些缺陷严重影响了视觉质量和用户体验 [4]。为解决这些问题,图像矩形化算法应运而生,旨在将拼接图像转换为视觉连贯、美观度更高的矩形输出。然而,生成高质量矩形图像仍然是一项极具挑战性的任务。
内容区域对于拼接图像矩形化至关重要,因为只有这些区域才能为空白区域重建提供候选特征。为确定内容和空白区域的分布,现有方法通常利用二值掩膜来提供内容区域的先验知识。例如,基于深度学习的矩形化方法 [5] 以拼接图像和对应掩膜作为输入,通过级联操作引导网络关注有效内容特征。类似地,图像生成方法以不完整图像和对应掩膜作为输入来合成缺失区域 [6],这些方法采用了一种识别内容区域位置的简单方式 [7],其性能高度依赖于掩膜的准确性。然而,二值掩膜是图像拼接过程的副产品,对于拼接前的图像来说难以获取,在实际应用中存在可用性限制。此外,掩膜先验对所有内容特征施加了均匀的关注度,从而忽视了准确运动估计所必需的判别性线索。因此,迫切需要一种无需依赖掩膜、能够实现灵活特征选择的无掩膜方法。
高质量的矩形化结果需要内容区域与整个矩形区域之间的精确映射,这促使现有方法不断发展出日益精细的对应关系表示。具体来说,传统方法精心设计能量函数 [8] 并引入额外的结构线元素 [9] 来建立映射关系。虽然在特定场景中效果显著,但这些方法计算开销大,且对不同真实场景的鲁棒性不足。为克服这些局限性,基于深度学习的方法利用大规模数据集捕捉更准确的映射关系 [10]。例如,当前方法 [11] 采用"网格 + 网格"框架,从内容区域估计网格变形,每个网格提供局部畸变算子以建立对应关系并填充空白区域。然而,网格畸变施加的是均匀变换,难以捕捉复杂且灵活的 nonlinear 变形,往往损害全局结构保持,导致矩形输出存在结构畸变,如图 1(a) 中红色放大区域所示。
为保持拼接图像的结构和内容一致性,近期研究集中在开发更灵活的变形机制 [12]。Feng 等人 [13] 提出了一种两阶段策略,首先应用鲁棒的网格畸变以提供均匀的局部变换来维持结构一致性,随后进行逐像素畸变以协调不同图像块之间的不一致性。然而,如图 1(b) 所示,"网格 + 流"策略 [13] 仍受到结构畸变的困扰,原因在于两个根本问题:第一阶段均匀网格畸变无法实现有效的结构校正,以及基于块的网格变换与像素级流畸变之间固有的不一致性。为缓解这些问题,RecDiffusion [14] 通过运动扩散模块将网格畸变转换为逐像素畸变,但仍需要网格运动监督并带来相当大的计算开销。另一种方法 CoupledTPS [15] 采用薄板样条 (TPS) 技术进行直接逐像素变换,但其有限的控制点不足以刻画内容区域与空白区域之间的关系,导致边界重建不完整。
为突破拼接图像矩形化的性能瓶颈,我们提出了一种新颖的无网格框架,将特征选择与重建结合迭代逐像素变形,以生成自然的矩形图像。与依赖掩膜进行内容定位的现有方法不同,我们的方法直接将拼接图像及其对应的边缘图作为双输入,利用无掩膜特征提纯模块智能地识别可靠的候选特征并捕捉特征间相关性以进行逐像素运动估计。为全面描述内容区域与整个矩形区域之间的映射关系,我们开发了一个迭代流估计模块,通过预测多尺度流场来同时捕捉用于整体结构维护的稀疏大位移模式和用于细节边界及结构校正的稠密小位移向量。最后,我们利用预测的逐像素偏移量对拼接图像和边缘图进行畸变,并设计了一个结构感知融合模块以显式地在矩形结果中强制结构一致性。通过直接递归流变形,我们的方法通过生成具有清晰结构连续性和自然内容补全的高质量矩形图像,实现了优越的性能,如图 1(c) 所示。
在全面的实验评估中,我们在 DIR-D 数据集和跨域数据集上进行了广泛的定性和定量分析,以展示所提方法的优越性和鲁棒性。我们的无网格矩形化框架在多个评估指标上均优于现有最先进方法,其中直接逐像素变形策略在捕捉复杂几何变换和内容关系方面尤为有效。值得注意的是,与基于掩膜的替代方法相比,我们的方法在保持出色矩形化性能的同时实现了高效的操作效率。总之,我们的主要贡献如下:
- •
我们的无网格矩形化框架将特征级选择与重建同逐像素几何建模相结合,以描绘非线性变形,生成具有自然结构和颜色分布的矩形结果。
- •
我们开发了一个无掩膜特征提纯模块,利用边缘空间分布检测内容区域,并利用判别性特征间相关性进行准确的逐像素偏移量估计,无需掩膜先验。
- •
我们设计了一个迭代流估计模块,预测多尺度逐像素位移向量,以捕捉用于全局结构保持的稀疏大位移模式和用于局部细节精化的稠密小位移向量,消除多类型级联畸变操作的不一致性。
本文其余部分组织如下:第2节对相关工作进行了全面综述,第3节介绍了我们基于迭代流估计的无网格矩形化框架,第4节报告了对比实验和消融研究,第5节阐述了方法的局限性和未来工作,第6节进行总结。
章节摘要
相关工作
在本工作中,我们提出了一种基于迭代逐像素变形学习的无网格、无掩膜拼接图像矩形化方法。我们的方法汲取并整合了三个相互关联的研究领域的最新进展:图像矩形化、图像拼接和无掩膜视觉任务。
概述
我们提出了一个基于迭代流估计的无网格矩形化网络,其整体架构如图 2 所示。该框架由三个核心组件组成:无掩膜特征提纯模块(第3.2节)、迭代流估计模块(第3.3节)和结构感知融合模块(第3.4节)。首先,无掩膜特征提纯模块集成了特征滤波器和内容聚焦模块,以消除对掩膜标注的依赖,并
实验
本节介绍了实验设置,并进行了全面的实验以展示所提方法的优越性。我们首先描述实验协议和训练细节(第4.1节)。接下来,我们在 DIR-D 数据集上提供与最先进方法的定量和定性对比,并进行跨数据集评估和计算复杂度分析(第4.2节)。最后,我们进行消融研究以验证
局限性与未来工作
我们的方法提出了一种从无到有的粗到细迭代逐像素运动估计的无网格矩形化框架,能够在大多数情况下实现渐进式变形校正并保持图像结构。然而,对于具有高度非矩形边界(如图 11 左下角和右上角蓝色框中标出的 L 形轮廓)的输入图像,矩形化仍然具有挑战性。此类图像的矩形化需要大范围且高度不均匀的变形,而
结论
本文提出了一种无网格拼接图像矩形化框架,通过迭代流估计实现准确的逐像素变形。与依赖可能不准确的掩膜且灵活性有限的现有网格方法不同,我们的方法直接利用多尺度逐像素偏移量估计来以更灵活和精确的方式校正不规则边界并填充空白区域,在生成矩形图像方面表现出
CRediT 作者贡献声明
冯晓梅:撰写 – 初稿、方法论、概念设计。贾琦:监督、项目管理。刘宇:监督、形式分析、数据管理。张博峰:验证、监督、资源提供。王家辉:监督。
利益冲突声明
作者声明不存在可能影响本文所报告工作的已知竞争经济利益或个人关系。
冯晓梅于 2025 年获得大连理工大学(中国大连)软件工程博士学位。她目前在上海应用技术大学(中国上海)计算机与信息工程学院担任讲师。她的研究方向包括机器学习、计算机视觉、图像处理和信息安全。
冯晓梅 | 贾琦 | 刘宇 | 张博峰 | 王家辉