基于Mask R-CNN与多算子流水线的语义引导内容感知图像重定向方法（MODL-CAIR）

《Scientific Reports》：A multi-operator deep-learning approach to preserve visual integrity in content-aware image retargeting task

　　

摘要

在内容感知图像重定向过程中保留关键视觉元素是一项具有挑战性的任务，因为在调整图像尺寸时，显著视觉特征的完整性往往会遭到破坏。接缝雕刻（SC），也称为内容感知图像重定向，是一种通过添加或移除重要性最低的像素路径来调整图像尺寸，同时保留重要视觉元素的技术。尽管接缝雕刻已被证明是调整图像尺寸的有效工具，能够移除低重要性接缝，但它往往无法保留图像的整体结构，导致在极端宽高比调整下重定向图像出现失真和变形。本研究旨在通过开发一种多算子流水线来增强内容感知图像重定向结果，改善调整尺寸期间关键视觉元素的保留情况，并最终克服传统接缝雕刻在保留复杂构图重定向图像视觉完整性方面的不足。所提出的多算子技术将 Mask R-CNN 集成到接缝雕刻过程中，以自动化重定向图像中的常见物体检测和物体掩膜，其中缩放作为后备机制以实现所需尺寸。所提出的 MODL-CAIR 方法将自动物体掩膜集成到图像重定向流水线中，以生成约束感知能量图，同时引入接缝禁止机制以实现语义引导的接缝移除。本研究结果表明，保护显著物体可以有效保留图像重定向过程中图像的显著视觉区域和整体结构。