自适应块变形匹配模糊性容错多视角立体视觉方法

本文提出APDe-MVS方法，将可变形卷积思想融入非学习的基于块匹配（PatchMatch）的多视角立体视觉（MVS）框架。通过自适应块变形策略解决纹理缺失区域的匹配模糊性问题，结合不一致性感知推动机制提升几何一致性，在ETH3D等数据集实现最先进性能且保持低内存消耗。（专业术语：MVS/PM/APD）

　　

亮点

• •
  我们提出基于块匹配（PatchMatch）的多视角立体视觉（MVS）自适应块变形策略，实现感受野的动态控制并提升匹配鲁棒性
• •
  我们通过分析匹配代价曲线的收敛性提出像素可靠性评估策略，增强块变形的自适应性、准确性和鲁棒性
• •
  我们构建了完整的APDe-MVS流程，在多种基准测试中实现最先进的重建性能，同时显著降低内存消耗

在期刊版本中，我们在初步工作基础上新增以下贡献：

• •
  提出可变形块匹配的焦点权重机制，强制所有锚点像素参与计算，进一步提升重建精度
• •
  对几何一致性的动机和问题进行深入分析，据此开发不一致性感知推动策略
• •
  在流程中集成SAM插件实现语义感知的深度不连续性检测，并在点云融合阶段引入可见性冲突滤波器

结论

本文提出APDe-MVS——一种通过自适应块变形增强传统基于块匹配方法的多层金字塔结构多视角立体视觉方法。受学习型方法中可变形卷积启发，我们为基于块匹配的方法设计自适应块变形策略，在保持GPU内存友好性的同时确保纹理缺失区域的适应能力。针对存在匹配模糊性的不可靠像素，我们引入可变形块匹配技术，分别考量来自锚点像素的特征信息，通过焦点权重机制聚合匹配代价。对于可靠像素，我们提出不一致性感知推动策略，帮助深度估计逃离局部最优解。实验证明，我们的方法在ETH3D、坦克与寺庙（Tanks and Temples）和DTU数据集上均达到最先进性能，同时维持较低内存消耗。