循环拟共形去扰动：基于几何结构的多湍流帧恢复方法

《Neurocomputing》：Circular quasiconformal deturbulence: Geometry-based restoration from multiple turbulent frames

　　朱晨|张汉|吕乐明
中国香港九龙城市大学

摘要
通过非均匀介质进行成像常常会导致严重的图像失真，给后续的图像处理任务带来巨大挑战。由于缺乏干净的成对图像，监督学习方法难以应用，这就促使人们寻求无监督的图像修复方法。在本研究中，我们提出了圆形拟共形去扰动（CQCD）框架，这是一种无监督方法，它利用圆形架构从多帧图像中重建无失真的图像。该框架通过联合估计失真观测值与修复后图像之间的正向和反向变换来最小化重建误差。CQCD的一个关键创新在于引入了计算拟共形几何学，这种几何学有助于实现双射非刚性变形，并提高正向和逆向映射的良定性，从而确保循环一致性。此外，还对变形场进行了正则化处理，以保持结构连贯性，减少诸如折叠或撕裂之类的非物理伪影。同时，采用紧帧块来有效编码对失真敏感的特征，进一步提升修复精度。为评估所提框架的有效性，我们在合成图像和真实图像数据集上进行了大量测试。实验结果表明，CQCD不仅在修复质量上优于现有的最先进去扰动技术，还能实现高度精确的变形场估计。

引言
图像修复是计算机视觉中的一个基础问题，其目标是从退化的图像中恢复出清晰、高质量的图像。这一任务在许多实际应用中至关重要，包括医学成像、监控、遥感以及数字摄影等领域，这些领域的准确解读和分析都依赖于高保真度的图像重建。能够有效地从噪声、模糊和几何失真中恢复图像，可以显著提升物体识别、分割和分类等下游任务的性能。

图像修复面临的一个主要挑战是，缺乏用于训练监督模型的高质量成对标签图像。监督学习通常需要成对的失真图像和对应的清晰图像，而在实际中往往难以获得这样的图像对，甚至根本无法获取。例如，在存在大气湍流、光学像差或水下成像的场景中，要在相同条件下同时捕获退化图像和真实图像是不可能的。为了解决这一限制，现有方法试图利用数学模型从现有的清晰图像中合成失真图像，或者从视频中的连续帧中学习失真特征。虽然这些方法在某些情况下有效，但它们往往难以泛化到不同类型的失真，而且由于失真建模不完善，还可能引入伪影。

在本研究中，我们提出了一种新的无监督学习框架用于图像修复，即圆形拟共形去扰动（CQCD）模型。我们的方法旨在从遭受复杂几何失真的序列图像中恢复出无失真的场景，这类失真通常是由湍流空气、水或其他折射环境等非均匀介质引起的。与依赖显式监督或近似失真先验的方法不同，我们的模型通过利用输入序列之间的圆形自一致性约束来学习图像修复。核心思路是首先估计一组变形映射，将失真图像转换为几何上正确的形式，然后再通过去模糊处理提升图像清晰度。

CQCD模型通过三阶段循环运行。首先，一系列失真图像经过紧帧变换进行特征提取，这一过程既能增强结构细节，又能降低噪声。这些特征随后被输入到映射估计器中，这是一种神经网络，用于预测实现图像几何校正所需的变形场。经过变形处理后的图像虽然消除了几何失真，但由于重采样和原始图像的退化，仍存在残余模糊。为了解决这一问题，会应用去模糊模块，从而得到清晰的修复图像。最后一步通过验证估计的逆向映射是否能够重新引入原有的失真，来确保循环一致性。具体而言，通过对修复后的图像应用逆向变形，我们可以重构出输入失真图像的近似版本。如果这些重构出的失真与原始输入一致，就说明估计的映射是准确的。这有助于确保所学到的变形映射能够真实地反映实际的几何失真。

圆形架构具有多项优势。首先，它有助于实现时间和空间上的一致性，使修复后的图像在多帧之间保持结构完整性。其次，它充当了一种隐式的验证机制，能够减少错误估计的积累。如果所学到的变形映射不准确，逆向变换就无法重新生成原有的失真，从而为自我修正提供了内置的反馈机制。通过这种迭代优化，修复性能会不断提升。

由于修复过程涉及正向和逆向映射，因此确保这些变换的可逆性和稳定性至关重要。在我们的模型中，我们借鉴了拟共形几何理论来指导同胚变形。在这一过程中，贝尔特拉米系数是一种关键的数学工具，它用于量化映射的局部失真程度。通过将贝尔特拉米系数控制在一定范围内，我们可以确保估计的变形场保持平滑且具有双射性质，从而在实际应用中减少折叠或重叠等伪影。这有助于保留拓扑结构，同时有效消除失真。

为评估CQCD的有效性，我们在受各种几何失真影响的合成图像和真实图像上进行了实验。通过与不同帧数下的其他无监督方法对比，证明了CQCD在纠正此类失真方面的强大能力。在真实失真图像上的测试进一步展示了该模型在复杂场景中的实际应用效果。此外，我们还通过将估计的变形场与用于模拟湍流的真实变形场进行比较，来验证其准确性。针对拟共形正则化权重的调整以及紧帧块的引入所做的消融实验，为我们提供了关于最佳拟共形权重选择的见解，同时也凸显了基于紧帧编码的重要性。

总之，我们的贡献如下：
1. 我们提出了一种基于变形映射的圆形湍流去除框架，该框架利用多幅图像数据进行修复。圆形架构有助于准确传递修复后的图像，并减少估计误差的累积。
2. 我们引入了计算拟共形理论，引导生成的映射具备同胚性和可逆性。这对于需要正向变形映射及其逆映射的圆形架构来说至关重要。
3. 我们采用了紧帧编码技术来增强特征提取能力，使卷积神经网络能够直接捕捉方向性变形模式，从而实现更精确的变形估计和更好的去模糊效果。

相关研究
在本节中，我们系统地回顾了与我们研究密切相关的文献。我们重点关注两个领域：计算拟共形几何学和图像修复，同时介绍了这些领域中的重要研究成果和方法。

图像失真的表述
一个场景的失真视频可以被视为一系列帧图像，每一帧都因动态湍流而受到不同程度的退化影响。随着时间的推移，每一帧都会出现不同程度的模糊、几何失真和噪声。用{I~t}t=1T表示随时间变化的失真图像序列，其中t表示时间索引，T为该序列中的总帧数。在时间t时的每一帧失真图像I~t(x,y)可以用以下数学公式表示：
I~t(x,y)=(Bt?It°ft)(x,y)

圆形湍流去除
在基于学习的湍流去除方法中，一个主要的挑战在于缺乏可用于监督学习的无湍流标签数据。因为一个失真图像与其对应的无失真图像不可能在同一时间、同一场景中同时存在。因此，本研究的主要目标是开发一种无监督的湍流去除模型。为此，我们设计了具有圆形架构的模型，使其能够以循环方式迭代演化。

实验
在本节中，我们通过一系列实验来评估所提出的CQCD框架的有效性。具体而言，我们在具有不同帧数的合成湍流视频以及真实的湍流失真图像上进行了测试，并将我们的结果与现有最先进方法的结果进行比较。此外，我们还将模型估计的变形场与用于模拟湍流的真实变形场进行对比，进一步验证了我们方法的准确性。

结论
在本文中，我们提出了圆形拟共形去扰动（CQCD）这一新型无监督框架，用于修复因复杂几何失真（如由非均匀介质引起的失真）而退化的图像。CQCD通过利用圆形自一致性约束来实现图像修复，该约束既保证了空间上的连贯性，也保证了时间上的连贯性。该模型通过三阶段循环运行：（1）估计变形场以纠正几何湍流；（2）对变形后的图像进行去模糊处理；（3）重新生成修复后的图像。

局限性及未来工作
所提框架的一个根本局限性在于它仅适用于静态场景。在圆形拟共形（CQCD）架构中，两个关键的优化组件依赖于基于像素位置的差异：（i）最小化估计的失真图像与实际捕获图像之间的差异；（ii）确保重采样后图像之间的相似性一致性。这两个目标都隐含着假设图像之间存在逐像素的对应关系。当场景中的物体发生移动时，……

作者贡献声明
朱晨：写作——审稿与编辑，写作——初稿撰写，可视化，验证，软件开发，项目管理，方法论，研究设计，数据整理，概念构建。张汉：写作——审稿与编辑，写作——初稿撰写，监督指导，软件开发，项目管理，方法论，概念构建。吕乐明：写作——审稿与编辑，监督指导，项目管理，概念构建。

利益冲突声明
作者声明不存在任何可能影响本文研究结果的已知财务利益或个人关系。

致谢
本研究得到了香港研究资助局科研基金（项目编号：14306721和14307622）以及香港脑心血管健康工程中心的支持。朱晨目前是香港城市大学数学系的博士生。张汉的研究兴趣包括科学计算、信号与图像处理以及深度学习。