《Pattern Recognition》：REPAIR: Validity-guided agentic planning for image restoration under extreme compound degradations
编辑推荐：
•REPAIR 将极端修复构建为受控假设恢复。•有效性优先的筛选机制在感知选择之前过滤假设。•拒绝反馈用于优化约束条件并重新生成缺失的假设。•实验结果支持在压力测试中的鲁棒性，而非声称在原生任务上达到最优。引言标准图像修复通常在明确定义的退化条件下进行评估：去噪假设存在主导性
- •
REPAIR 将极端修复构建为受控假设恢复。
- •
有效性优先的筛选机制在感知选择之前过滤假设。
- •
拒绝反馈用于优化约束条件并重新生成缺失的假设。
- •
实验结果支持在压力测试中的鲁棒性，而非声称在原生任务上达到最优。
引言
标准图像修复通常在明确定义的退化条件下进行评估：去噪假设存在主导性噪声过程，去雨假设存在雨水或雨滴，去模糊假设存在模糊，而一体化修复通常仍然假定在所定义的工作范围内存在可恢复的混合退化。这一范式推动了修复骨干网络、盲修复、生成式修复以及智能体修复流水线方面的显著进展 [1]、[2]、[3]、[4]、[5]、[6]、[7]、[8]、[9]、[10]。然而，实际中的低质量图像并不总是包含单一的主导性退化。低光环境下的手机照片、经过压缩的在线图像、恶劣天气条件下的监控录像、受运动污染的影像帧以及老旧或经过多次传输的图像，可能同时包含传感器噪声、模糊、压缩伪影、低能见度、雨水、雾霾和局部遮挡。一旦多种严重退化相互叠加，底层结构和语义信息可能会被同时削弱。
本文研究这一严重退化场景，将其视为一种极端复合退化压力测试。我们不声称本工作中使用的合成协议能够精确复现任何特定相机或传输链路的物理分布。相反，该协议的设计旨在提供一个固定且可复现的设置，用于回答标准修复基准测试中未被充分探讨的一个更为聚焦的问题：当退化观测不足以约束唯一的像素级恢复时，修复系统应当如何应对？在这一设定下，修复问题变为欠约束的。因此，目标不是保证恢复每一处原始细节，而是获得一个与现有视觉和语义证据相兼容的修复假设。保守的单次通过式修复器可能在视觉上表现薄弱或结构不完整，而直接的生成式修复可能恢复出可辨识的内容，但会引入不受支撑的物体、语义偏移，或引入视觉上合理但无法由输入数据所证明的细节。
因此，关键难点不仅在于如何生成视觉质量更高的图像，还在于如何判断哪些生成的假设应当被信任。我们将这一难题分解为两个耦合的决策。第一个是语义有效性控制，其操作化为基于规划器的语义一致性，而非相对于未知干净图像的客观正确性：强大的生成能力可能产生不受支撑的物体或偏离退化观测的语义漂移，尤其是当输入不再提供足够的局部证据时 [6]、[7]、[11]、[12]。第二个是感知候选选择：即使无效候选已被剔除，多个保留下来的修复结果在构图、色彩、结构和可辨识度上仍可能存在差异。现有的修复和智能体流水线主要强调执行、专家调度或直接增强 [8]、[9]、[?]、[10]，但它们通常不会明确地将候选有效性判断与最终的感知选择分离开来。不同于直接生成或最优K候选选择，REPAIR 将语义拒绝转化为反馈，在缺失假设被重新生成之前优化修复约束；每一轮这样的"反馈-优化-重生成"过程构成一个闭环校正。
为解决这一问题，我们提出了 REPAIR，一个免训练的受控生成框架，用于在极端复合退化条件下进行图像修复。REPAIR 并非旨在成为各类退化特定修复模型在原生基准上的通用替代品。相反，它旨在研究强生成先验能否通过在最终选择之前显式过滤不受支撑的内容，从而在严重的复合不确定性下变得更加可用。REPAIR 首先执行退化感知的规划，从退化输入中推断修复优先级和语义约束。然后调用基于 FLUX 的生成模块产生多个修复假设，并使用基于规划器的语义一致性对其进行筛选。当假设被拒绝时，语义拒绝反馈用于优化禁止物体约束，之后仅对缺失的假设在有限闭环内重新生成。保留下来的假设最终通过审慎的审阅者-评判者对比来解决剩余的感知歧义。这一设计将修复从单次确定性的增强转变为有效性优先的受控假设恢复，实现基于拒绝驱动的约束优化和剩余候选选择。
我们的贡献如下三个方面：
- •
我们将极端复合退化识别为一种图像修复在严重不确定性条件下的压力测试场景。在此场景下，多种严重退化类别共同削弱视觉证据，使修复成为欠约束问题，且生成式恢复难以控制。
- •
我们提出了 REPAIR，一个免训练的受控生成框架，将语义有效性控制与感知候选选择分离开来。REPAIR 进一步引入了有效性优先的闭环机制，在该机制中基于规划器的语义拒绝在最终选择之前优化生成约束。
- •
在所有被评估方法共享的固定协议下，我们提供了经验证据表明，REPAIR 在极端复合退化条件下相较于被评估的单次通过修复参考方法、非生成式对照组和智能体基线方法提升了压力测试的鲁棒性。消融实验进一步表明，在所有被评估的消融配置中，闭环配置产生了最大的测量效应。
章节摘要
通用与一体化图像修复。
图像修复已从退化特定模型发展到更加统一的盲修复设置。SwinIR [1]、Restormer [2] 和 NAFNet [3] 建立了面向标准修复的强通用骨干网络。AirNet [4] 和 PromptIR [5] 进一步将适用范围扩展到未知或混合退化，而更新的设计如 DFPIR [13] 和 OPIR [14] 继续增强一体化修复能力。专用任务特定的方法线在退化类别明确且处于原生场景下依然具有很强的竞争力
概述
REPAIR 是一个用于极端复合退化条件下图像修复的免训练受控生成框架，如图1所示。REPAIR 并非将修复视为单次增强，而是将修复构建为严重不确定性下的假设生成与选择过程。给定一个退化输入，REPAIR 推断修复优先级和语义约束，利用 FLUX.2 生成修复假设，并使用基于规划器的语义一致性对其进行评估。
实验
我们在一个由七种异构图像源构建的固定极端复合退化压力测试协议下评估 REPAIR，将同一复合输入下的 REPAIR 与近期单模型参考方法和智能体基线方法进行比较，并分析执行行为、效率和设计选择。这些实验旨在评估有效性优先的闭环恢复、不受支撑假设的抑制以及严重不确定性下的剩余候选选择。报告的结果
局限性
REPAIR 作为受控压力测试框架进行评估，而非原生任务修复模型。所构建的协议是合成的，并不声称能复现任何特定相机或传输链路的物理退化分布。当严重的复合退化移除了大量视觉证据时，其输出应被理解为一种受约束的修复假设，而非保证重建每一处原始细节。基于规划器的
结论
我们提出了 REPAIR，一个用于极端复合退化条件下图像修复的免训练受控生成框架。本文将 REPAIR 定位为针对严重不确定性场景的研究工具，在该场景下修复成为欠约束问题且直接生成容易引入不受支撑的内容，而非将其作为退化特定修复模型的通用替代品。REPAIR 将基于规划器的语义一致性与剩余感知选择分离，并利用语义
CRediT 作者贡献声明
殷正南（Zhengnan Yin）：写作 - 原稿撰写、软件、方法学、形式化分析、数据管理、概念化。郑一伟（Yiwei Zheng）：写作 - 审阅与编辑、软件、方法学、数据管理、概念化。肖路伟（Luwei Xiao）：写作 - 审阅与编辑、验证、监督、方法学、调查研究、概念化。陈一伟（Yiwei Chen）：写作 - 审阅与编辑、验证、软件、数据管理。张俊康（Junkang Zhang）：写作 - 审阅与编辑、资源、形式化分析。李鑫（Xin Li）：写作 - 审阅与
利益冲突声明
作者声明不存在可能被认为影响本文所报告工作的已知竞争性经济利益或个人关系。
致谢
本研究部分由新加坡创新研究基金2025行业对接基金——行业合作项目（IAF-ICP）（项目编号 I2301E0026）资助，该基金由 A*STAR 管理；部分由阿里巴巴集团与新加坡南洋理工大学通过阿里巴巴-南大全球电子可持续性企业实验室（ANGEL）资助；部分由新加坡教育部在其学术科研基金二级（MOE-T2EP20123-0005）下资助。作者感谢
Zhengnan Yin|Yiwei Zheng|Luwei Xiao|Yiwei Chen|Junkang Zhang|Xin Li|Tiesunlong Shen|Norah Saleh Alghamdi|Erik Cambria
