基于物理信息的专家引导图像修复：一种可解释的专家式动态路由方法

《Neurocomputing》：Expert-guided image restoration based on physical information: An interpretable expert-style dynamic routing approach

　　张梦星|梁晓丽|翟瑞|甘志华|陈磊
中国河南省开封市金明大道北段475004，河南大学软件学院

摘要
在恶劣环境下的统一图像恢复仍面临挑战，因为不同的退化类型需要基于物理原理的解释以及能够适应输入的恢复算法。现有的全能型方法往往依赖于数据驱动的表示或固定的参数化方案，当不同场景的退化特征有所差异时，这类方法的稳健性可能会受到影响。为了解决这一问题，我们提出了一种基于物理引导的动态路由框架——PGDR，用于统一图像恢复。PGDR由物理解耦模块和路由门控模块组成。物理解耦模块借助受散射模型启发的近秩一传输先验，来估计可解释的退化特征，并生成基于物理原理重建的中间图像。路由门控模块则利用这些物理证据，通过一个可学习的专家风格操作符库来实现软路由调节，从而无需手动选择专家即可实现适应输入的恢复。在RESIDE-6k、UIEB和SmokeBench上的实验表明，PGDR在去雾、水下增强和去烟任务中均表现出优异的性能，平均PSNR值为27.37 dB，SSIM值为0.9150。消融实验和路由分析进一步证明，物理引导提升了可解释性，并促进了专家操作的适应性调整。

引言
统一图像恢复技术的出现[1]、[2]、[3]、[4]引起了计算机视觉领域的广泛关注，标志着该领域的重要进展。通过将多种图像退化恢复任务整合到一个统一的框架中，这种创新方法有效解决了各种图像质量问题。与为单一退化类型设计的专用方法相比[5]、[6]、[7]，统一恢复方法减少了对专用模型的依赖，为处理现实世界中多样的退化现象提供了统一的恢复流程。此外，与像素注意力去噪网络[8]和SwinIR[9]等通用恢复架构不同，统一恢复方法明确旨在在一个框架内处理多种类型的退化现象。

随着人们对统一图像恢复越来越感兴趣，近年来在开发能够适应恶劣及混合现实世界退化现象的模型方面取得了快速进展。TransWeather[10]提出了一种基于Transformer的模型，用于处理因恶劣天气而退化的场景，证明了单个模型处理多种天气条件的可行性。在另一个方向上，MoE-DiffIR[11]探索了一种基于扩散机制的专家混合架构，用于通用压缩图像恢复，通过动态路由选择针对特定任务的扩散先验，以恢复被压缩伪影抑制的高频细节。GridFormer[12]则通过具有网格结构的残差密集Transformer，进一步提升了在恶劣天气条件下的效率与稳健性。除了大气退化现象外，AiOENet[13]致力于低能见度水下环境的增强，通过整合多种增强组件来提升极端水下环境中的视觉感知能力。与此同时，Restormer[14]等通用高分辨率恢复架构也表明，精心设计的Transformer可以作为一种强大的统一架构，应用于去噪、去雨、去模糊等相关任务。IPT[15]进一步验证了预训练Transformer在多种图像恢复任务中的有效性。

尽管取得了这些进展，统一图像恢复仍存在两大局限。首先，许多现有方法过度依赖数据驱动的先验，缺乏明确的物理引导，这降低了可解释性，且在复杂的现实场景中可能降低恢复精度。其次，大多数统一模型采用固定的参数化方案，难以适应多样、未知或混合型的退化现象。相比之下，基于专家的软路由方法通过对一组可学习操作符进行概率性控制，提供了一种有前景的替代方案，它能够在无需无限制扩展专家库的情况下提升方法的专用性和适应性[16]。

然而，现有的基于专家的路由方法往往缺乏物理依据和清晰的可解释性。为了解决这个问题，我们提出了基于物理引导的动态路由框架PGDR，该框架由两个协同工作的模块组成：物理解耦模块和路由门控模块。物理解耦模块负责提取具有物理意义的特征并生成初始重建结果，而路由门控模块则利用这些特征来指导对一系列恢复操作符的适应性调整。通过这种方式，PGDR将基于物理原理的建模与专家风格的路由相结合，形成了一个更具可解释性和适应性的框架，可用于处理多种退化场景。如图1所示，所提出的方法在多种退化类型下都能产生视觉上更优的结果。

我们的贡献可总结如下：
我们提出了一种PGDR框架，通过两个核心模块的协同作用，提升了方法的可解释性和适应性。该框架为统一图像恢复提供了具有物理意义的中间特征以及基于物理原理的软路由机制。
我们设计了一种由物理解耦模块和路由门控模块组成的双模块路由架构。物理解耦模块基于散射先验和秩一传输假设，生成可解释的初步物理特征；而路由门控模块则利用这些特征作为依据，通过基于物理原理的路由机制来适应性调整恢复操作符。
我们通过对物理解耦模块和路由门控模块进行消融实验，以及在RESIDE-6k[17]、SmokeBench[18]和UIEB[19]基准测试上的实验，对所提出的双分支设计进行了评估。结果表明，该方法在各项测试中的整体性能表现优异。

相关工作
为阐明我们方法的动机及其所依赖的原则，即基于物理原理的恢复、可解释的路由控制以及在恶劣条件下的适应性，我们回顾了四个研究领域，这些领域共同构成了我们的问题背景，并为方法设计提供了指导：具有物理意识的恢复、动态参数化、专家路由以及具备退化意识的综合图像恢复。

恶劣条件下的物理模型：经典去雾与水下增强
物理先验与秩一传输
专家风格的路由方法依赖于具有物理意义的可解释证据；否则，仅基于抽象图像特征推断出的路由权重往往难以理解，且在数据分布发生变化时可靠性也会下降。在我们的框架中，这类证据来源于近秩一传输先验。该先验提供了一种结构化且易于理解的结构特征，为后续的路由校准提供了有力基础。
我们采用了按通道划分的图像形成模型：

基于上述理论分析，我们设计了PGDR框架，以应对多种图像退化挑战。其中一个关键目标是在保持恢复功能的同时，提升恢复过程的物理可解释性。
如图3所示，该框架由两个并行工作的协同组件构成，即物理解耦模块和路由门控模块。这两个模块相互补充，旨在共同应对各种复杂的退化现象。图3(a)详细展示了物理解耦模块，它是一个专为物理原理设计的模块。

实验
我们从三个方面对PGDR进行了评估：（1）实现细节与数据集；（2）对物理解耦模块和路由门控模块的消融实验；（3）在与三种恢复基准测试上表现最佳的现有方法的对比测试。

结论
为了解决现有统一图像恢复方法中存在的核心问题，如物理可解释性有限以及面对复杂退化场景时适应性不足，本文提出了PGDR框架。该框架将图像恢复视为一种专家路由过程，其中物理特征与数据驱动的操作符共同参与决策制定。具体而言，PGDR包含两个核心模块：物理解耦模块，它利用物理模型和领域先验来……

作者贡献声明
张梦星：写作——审阅与编辑、写作——初稿撰写、可视化、软件开发。梁晓丽：研究调查、形式化分析、数据整理。翟瑞：方法设计、研究调查、形式化分析。甘志华：方法设计、研究调查、形式化分析、概念构思。陈磊：写作——审阅与编辑、写作——初稿撰写、可视化、方法设计、研究调查、形式化分析、数据整理、概念构思。

关于写作过程中生成式AI及AI辅助技术的声明
在准备本文档的过程中，作者们使用了ChatGPT（OpenAI）来帮助提升手稿的清晰度、语言表达和可读性，同时检查语法错误，并提出改写建议和结构优化方案。该工具并未生成任何数据、实验结果、方法或科学结论。在使用该工具后，作者们对所有经过AI辅助处理的文本进行了仔细审核和修改，并对本文的内容负全责。

利益冲突声明
作者声明不存在任何可能影响本文研究成果的已知财务利益或个人关系。

致谢
本研究部分得到了国家自然科学基金（项目编号：42201465）、河南省科技研发计划联合基金（重点计划）（项目编号：235200810031）以及河南省重点研发推广专项（项目编号：262102210072）的支持。
张梦星于2024年在中国新乡大学获得物联网工程学士学位。他的研究兴趣包括图像恢复、计算机视觉和深度学习。