PRISM：通过文本引导的测试时优化实现精确的区域感知实例样式操控

《Pattern Recognition》：PRISM: Precise region-aware instance style manipulation via text-guided test-time optimization

　　•PRISM能够在不完美的掩膜下进行文本引导的实例级风格转换。•PTR能够在CLIP特征空间中恢复分割不足的目标区域。•边界感知优化在物体轮廓附近保持了背景的真实性。•PRISMBench提供了24,800个三元组，包括基于CLIP和独立于CLIP的评估指标。•PRISM在背景保留和用户偏好方面优于15个基线方法。

引言
图像风格转换将目标图像渲染成期望的艺术或纹理风格，长期以来一直是计算机图形学和视觉领域的核心[1]。最近的文本引导风格化方法和新型高保真风格化系统[3]大大扩展了用户对外观的控制，但大多数方法仍然在整幅图像级别操作或依赖于粗略的区域检测，这不可避免地会改变用户希望保持完整的背景或次要对象。这引发了一个具有挑战性且实际重要的问题：实例级风格化，即只有用户指定的对象应该被风格化，而图像的其余部分保持像素级的一致性。这一能力对于多媒体内容创作、增强现实和交互式检索驱动的编辑至关重要。

这个问题本质上是多模态的：它需要同时考虑视觉内容（目标对象及其边界）、语言语义（风格描述和目标规范）以及空间结构（保留非目标区域）。这些模态之间的相互作用使得实例级风格化成为多媒体社区的自然选择，它将文本-图像理解与细粒度视觉生成联系起来。实现这一目标需要两个能力：精确的空间划分和紧密的文本-图像对齐。现成的分割模型（SAM [4]、CRIS [5]、LISA [6]）可以从文本中生成掩膜，但经常无法准确分割出细部特征，如肢体、尾巴和细结构，导致风格化后出现可见的缝线。同时，基于扩散的编辑器（ControlNet [7]、InstructPix2Pix [8]）、区域感知编辑器[9]和VLMs（GPT-4o [10]）提供了令人印象深刻的编辑质量，但仍然难以将风格变化严格限制在目标实例内，同时保留高频边界细节。

我们提出了PRISM，该框架将文本引导的风格化与实例感知的掩膜扩展结合在测试时优化（TTO）流程中。PRISM扩展了CLIPstyler [2]，专为以下实际重要的场景设计：掩膜已经通过文本引导的分割或用户交互获得，但在细边界上并不完美。与最近那些隐式推断可编辑区域的以对象为中心的风格编辑器[3]不同，PRISM明确解决了我们在实际流程中观察到的更难的失败模式：由于分割不足而遗漏的目标像素。为此，PRISM引入了两个关键创新：
(1) 潜在目标区域恢复（PTR）。我们将分割不足的问题表述为一个MAP裁剪分类问题。给定一个掩膜覆盖率低的模糊裁剪区域，PTR使用CLIP空间的余弦相似度来估计目标成员的后验概率，并针对动态更新的目标原型进行评估。双重阈值投票策略（τbg, ρbg）提供了合理的决策边界。它在保持低误报率的同时恢复了分割不足的区域。我们在四种掩膜来源（CRIS、LISA、SAM 2和真实掩膜）上验证了PTR的通用性。
(2) 边界感知的背景一致性损失。我们对边界裁剪区域应用梯度域正则化，惩罚风格化输出与原始图像之间的梯度不连续性。与经典的Poisson混合[11]不同，后者需要通过全局偏微分方程求解作为后处理步骤，我们的方法在优化循环中局部操作，实现了平滑过渡而无需任何额外步骤。

我们还创建了PRISMBench，这是一个包含248个图像-掩膜对和100个风格提示（24,800个评估三元组）的基准测试。重要的是，该基准测试使用了基于CLIP和独立于CLIP的评估指标（DISTS [12]、ImageReward [13]），以减少评估与优化之间的耦合，并更好地将自动评估与感知质量对齐。实验表明，PRISM：
(i) 与CLIPstyler相比，将背景LPIPS降低了64%；
(ii) 将DISTS提高了25%；
(iii) 在成对用户偏好评估中获得了最高分数（p<0.001，通过Wilcoxon检验，Krippendorff的α=0.72）。这些改进在多种掩膜来源上都得到验证，支持了我们的观点：精确的风格化不仅需要更强的文本引导，还需要明确恢复缺失的实例区域和边界感知的正则化。

贡献
•问题阐述和框架。我们在不完美掩膜的实际情况中提出了文本引导的实例级风格化，并引入了PRISM，这是一个具有自动掩膜扩展和边界感知正则化的测试时优化（TTO）流程。
•PTR。我们提出了一个基于MAP的裁剪分类模块，它在CLIP特征空间中恢复分割不足的目标区域，并在四种掩膜来源上验证了其有效性。
•边界感知优化。我们将梯度域正则化集成到TTO循环中，以强制实现无缝的实例到背景的过渡，而无需单独的后处理步骤。
•PRISMBench。我们建立了一个标准化基准测试，使用基于CLIP和独立于CLIP的评估指标以及人类评估，来进行严格的实例级风格化评估。

相关工作
神经风格转换。Gatys等人[1]首次通过匹配内容和风格图像之间的CNN特征统计信息，开创了基于优化的神经风格转换方法，为后续的大量研究和神经风格化综述[14]奠定了基础。前馈方法[15]通过将优化过程合并到一个前向传递中显著加速了推理速度，而基于注意力的方法[16]提高了局部风格模式的保真度。

概述
PRISM流程（图2）接收一个内容图像Ic、一个二进制目标掩膜M（来自文本引导的分割器或用户标注）和一个风格文本提示tsty。它生成一个风格化输出Ics，其中只有被遮盖的对象被风格化，而背景保持不变。在整篇文章中，M=1表示目标/对象区域，Mˉ=1?M表示背景区域。这一约定统一用于背景LPIPS、背景SSIM和背景一致性损失的计算。

相关基准测试
图像编辑基准测试已经发展到涵盖各种任务，包括整幅图像风格转换和文本引导编辑。传统的风格化基准测试如NPRgeneral主要关注整体风格转换，而最近的基准测试如EditVal、I2EBench和MagicBrush则针对文本引导编辑能力[55]。其他专门的基准测试如ImageNet-E和Pascal-EA评估属性编辑和掩膜保留，而MimicBrush和Paint by Example则关注基于参考的编辑。

实验设置
在我们的PRISM实验中，内容图像可以适应不同的分辨率。训练期间使用的超参数为：λp=9000、λc=150、λtv=0.002、λb=150和λg=50。我们使用conv42和conv52层计算内容损失，正如Gatys等人[1]所做的那样。我们使用初始学习率为0.0005的Adam优化器进行训练，训练运行200次迭代。
对于块裁剪，我们将块大小设置为64，这在目标风格化和背景之间取得了最佳平衡。

结论
本文介绍了PRISM，这是一个用于文本引导实例级风格化的测试时优化框架，解决了在实际编辑流程中使用不完美分割掩膜的实际挑战。PRISM贡献了两个核心组件：潜在目标区域恢复（PTR），一个基于MAP的裁剪分类模块，它在CLIP特征空间中恢复分割不足的目标区域；以及边界感知的梯度域正则化损失，它强制实现无缝过渡。

作者贡献声明
陈俊豪：撰写——审稿与编辑、撰写——原始草稿、数据整理、概念化。
彭蓉：可视化、形式分析。
李翔：可视化、形式分析、数据整理、概念化。
孙静波：项目管理、数据整理、概念化。
张博然：撰写——审稿与编辑、数据整理。
赵浩：资源收集、概念化。
黄如琪：形式分析、数据整理、概念化。
马飞：监督、资源收集、概念化。

利益冲突声明
作者声明了以下可能被视为潜在利益冲突的财务利益/个人关系：陈俊豪报告称获得了国家自然科学基金的支持。陈俊豪报告称获得了广东省基础与应用基础研究的支持。如果还有其他作者，他们声明没有已知的财务利益或个人关系可能会影响评估结果。

致谢
本研究得到了广东省基础与应用基础研究基金（2026A1515010184）和广东省人工智能与数字经济实验室（SZ）的研究任务分配项目（GML-26420007）的支持。

作者名单：
陈俊豪 | 彭蓉 | 李翔 | 孙静波 | 张博然 | 赵浩 | 黄如琪 | 马飞 | 田琦