基于贝叶斯深度先验的 Quaternion矩阵补全方法在彩色图像修复中的应用
《Pattern Recognition》:A Bayesian Deep Prior-Based Quaternion Matrix Completion for Color Image Inpainting
【字体:
大
中
小
】
时间:2026年01月09日
来源:Pattern Recognition 9.1
编辑推荐:
邹金平|任焕|陈洪佳|徐旭云|王翔中国南昌大学数学与计算机科学学院摘要彩色图像修复在计算机视觉中起着重要作用,其目标是根据现有信息重建缺失区域。现有的基于四元数的深度修复方法往往难以同时恢复全局结构与自然纹理,尤其是当仅有单张受损图像用于训练时。为解决这些难题,我们提出了BQAE
邹金平|任焕|陈洪佳|徐旭云|王翔中国南昌大学数学与计算机科学学院摘要彩色图像修复在计算机视觉中起着重要作用,其目标是根据现有信息重建缺失区域。现有的基于四元数的深度修复方法往往难以同时恢复全局结构与自然纹理,尤其是当仅有单张受损图像用于训练时。为解决这些难题,我们提出了BQAE-TV这一新型模型,该模型整合了四元数全连接网络以捕捉全局特征,同时引入总变分正则化来优化四元数矩阵补全,从而生成结构连贯且视觉上自然的图像。此外,还采用了贝叶斯推断机制来对深度图像先验进行正则化,以减少过拟合现象。实验表明,BQAE-TV在视觉质量及定量指标方面均优于传统方法及现有最先进方法,证明了其有效性与鲁棒性。引言彩色图像修复已成为计算机视觉与人工智能领域的重要研究方向。该方法利用受损图像中的现有信息来重建缺失区域,从而实现更精确、更真实的图像恢复。图像修复是多种应用中的重要工具,包括图像与视频裁剪、图像合成、医学成像以及3D照片效果处理。然而,如何使修复后的图像与原始图像完美匹配仍是一个重大挑战。与那些依赖大规模数据集预训练模型的方法[1]、[2]不同,当前针对单张图像修复的主流方法都致力于仅利用所观察到的单张图像来重建图像的缺失部分。这类方法包括块合成[3]、颜色扩散[4]、张量补全[5]以及深度学习技术[6]、[7]。虽然块合成和颜色扩散方法可以通过从可见区域传播重复的纹理和图案来填充缺失区域,但在缺失区域的纹理与周围区域差异较大的情况下,这些方法效果不佳。彩色图像通常表示为三阶张量,而张量补全则利用低秩或稀疏特性,根据观测结果重建完整图像。例如,张等人[8]提出了一种基于非局部块张量的新型图像补全算法,通过引入低秩且稀疏的分解策略,有效解决了块不匹配问题。李等人[9]则运用神经网络和卷积核作为可学习的非线性变换,以最小化张量核范数,从而实现不完整张量的紧凑表示与有效恢复。然而,高阶张量的秩并非唯一确定,因为它取决于所采用的秩定义方式。因此,准确确定张量秩仍然是一个具有挑战性的问题。由于四元数能够高效地表示颜色信息,RGB图像中的每个像素都可以表示为一个纯四元数。相应地,空间尺寸为M×N的彩色图像可以表示为一个纯四元数矩阵Q˙=(q˙mn)∈HM×N。该矩阵可表示为:Q˙=0+Qri+Qgj+Qbk,其中Qr、Qg和Qb分别存储红色、绿色和蓝色通道的值。与低秩张量补全方法不同,四元数矩阵补全方法将彩色图像的三个通道统一表示为一个四元数矩阵。这种方法能更好地保留颜色通道之间的相关性,并已被广泛研究应用于彩色图像中缺失像素的修复。例如,陈等人[10]提出了一种低秩四元数近似(LRQA)模型,该模型纳入了多个非凸秩函数。具体而言,拉普拉斯函数和Geman函数被用作四元数核范数的改进替代函数,有助于解决秩最小化过程中常见的次优解问题。贾等人[11]通过最小化四元数矩阵的核范数以及稀疏四元数矩阵元素的?1范数,解决了四元数矩阵补全中的稳健性问题。最近,他们发现了非局部自相似性(NSS)与彩色图像低秩特性之间的潜在因果关系,并提出了一种基于NSS的四元数矩阵补全算法(NSS-QMC),用于计算这些图像的最优低秩近似值[12]。韩等人[13]提出了基于四元数卡塔尔里亚尔分解的高效四元数奇异值分解近似方法,并进一步开发了一种包含稀疏先验的四元数矩阵补全模型。杨等人[14]提出了一种四元数矩阵UTV分解方法,该方法通过从四元数正态分布中采样来构建随机近似值,显著提升了彩色图像恢复的计算效率。不过,这些方法都依赖于低秩矩阵假设,若先验知识不足或秩参数选择不当,就可能导致修复效果不佳。深度学习方法可以直接从彩色图像数据中捕获关键信息,从而克服传统方法的诸多局限。苗等人[15]将深度图像先验(DIP)[16]与四元数矩阵补全方法相结合,提出了一种利用四元数卷积神经网络(QCNNs)来学习隐式先验的方法。这种方法取代了四元数矩阵补全模型中的显式正则化项,从而解决了参数选择问题。然而,这种方法的潜在缺点在于,尽管QCNNs能够有效捕获边缘和纹理等局部特征,但它们无法将缺失区域与周围环境整合起来以获取全局信息,从而导致修复质量不佳。此外,该模型在训练过程中还容易发生过拟合现象。另外,王等人[17]提出了一种用于彩色图像修复的四元数生成对抗网络,该网络通过四元数逆卷积和批量归一化模块有效处理了大面积缺失区域的问题,实现了高效的修复性能。不过,这种方法依赖于大规模数据集进行预训练,这在医学成像和工业缺陷检测等数据稀缺领域存在诸多挑战。具体而言,将四元数代数集成到卷积神经网络(CNNs)中,使得QCNNs[18]能够有效捕获彩色图像通道之间的相关性。然而,预训练模型并不适用于单张图像的修复任务。虽然基于QCNN的方法[15]能够高效捕获边缘和纹理等局部特征,但无需预训练即可整合全局信息仍是一项重大挑战。为解决这些问题,我们提出了整合四元数全连接神经网络(QFCNs)的方法,这类网络凭借其全连接结构能够在图像修复过程中实现全局信息融合,从而捕获像素间的长距离依赖关系与上下文信息。此外,为在彩色图像修复中平衡平滑度与边缘细节,我们引入了四元数总变分(QTV)正则化机制,以减少噪声和伪影,进而提升图像的视觉质量。传统的基于DIP的方法通常采用提前停止策略来防止过拟合,但这也会限制模型进一步优化并找到最优解的能力。为解决这一问题,我们从理论上证明了四元数DIP(QDIP)的输出会收敛为一个具有明确核函数的平稳高斯过程(GP)。这表明QDIP通过调整网络参数来最大化图像后验概率,从而有效缓解过拟合问题。基于此,我们提出了一种结合贝叶斯深度先验与QTV正则化项的四元数自编码器,该模型被称为具有QTV正则化的贝叶斯四元数自编码器(BQAE-TV)。其主要贡献如下:1.与依赖跳跃连接的传统基于DIP的方法不同,本文引入了QFCNs,提升了模型整合全局信息的能力,进而提高了修复图像的质量。2.在目标函数中增加了额外的QTV正则化项,以优化四元数矩阵补全模型,促使生成更平滑且结构细节更清晰的图像。3.从理论上已证明,对于输入的四元数矩阵,四元数神经网络(QNN)的输出可近似为一个平稳的高斯过程。通过结合贝叶斯推断并优化网络参数以最大化图像后验概率,该模型能够有效缓解过拟合现象。4.数值实验表明,即使在各种缺失场景下,该模型也能展现出出色的彩色图像修复性能,优于多种现有的最先进传统四元数矩阵补全方法。本文的结构如下:第2节介绍四元数代数与神经网络的基本概念;第3节给出理论证明,说明QNN的输出近似于平稳高斯过程;第4节详细阐述所提出的彩色图像修复方法;第5节介绍实验设置、模型验证及定量评估方法;最后,第6节对全文进行总结。章节摘录四元数代数与四元数神经网络在本节中,我们将简要概述四元数代数以及QCNNs、QFCNs及相关神经网络组件的设计。四元数深度图像先验的贝叶斯视角本节简要介绍DIP[16]。研究表明,对于任何平稳输入Z˙,当输入通道数和滤波器数量趋于无穷大时,QNN块的输出X˙会收敛为一个具有平稳核函数的高斯过程,且其核函数可以被明确推导出来。此外,在四元数深度图像先验(QDIP)框架中应用贝叶斯后验推断,不仅能提升修复性能,还能避免使用提前停止策略。彩色图像修复问题彩色图像修复旨在重建图像中受损或缺失的区域。如方程(1)和图2所示,彩色图像可以自然地表示为一个纯四元数矩阵。因此,彩色图像修复问题可以自然地转化为四元数矩阵补全问题,即通过适当方法填补给定不完整四元数矩阵中的缺失元素,以实现有效的图像修复。四元数的一般模型数据集与实验设置为验证所提方法的有效性,首先在八幅广泛使用的彩色图像上进行了数值实验,这些图像如图4所示,依次编号为图像1、图像2……图像8。所有图像都被调整为256×256像素大小。在不同采样率SR∈{5%,10%,30%,50%}下进行了逐元素随机采样。此外,为评估该方法的泛化能力,我们还从BSD数据集中随机选取了25幅彩色图像作为补充实验。结论本文提出了一种基于四元数自编码器的彩色图像修复方法——BQAE-TV。该方法结合了QFCN与QTV正则化机制来提升修复性能,同时通过对QDIP应用高斯过程优化,有效解决了深度图像修复任务中的过拟合问题。总体而言,BQAE-TV具有以下显著优势:(1)与许多现有方法不同,BQAE-TV无需依赖大规模数据集进行预训练,可直接对单张图像进行图像修复。作者贡献声明邹金平:写作——审稿与编辑、写作——初稿撰写、验证、方法论、研究分析、形式化分析。任焕:写作——审稿与编辑、指导、方法论、研究分析、形式化分析、概念构思。陈洪佳:方法论、形式化分析、概念构思。徐旭云:验证、方法论、形式化分析、数据整理。王翔:指导、方法论、资金获取、形式化分析、概念构思。利益冲突声明作者声明不存在利益冲突。邹金平于2023年在中国南昌大学获得数学硕士学位,目前在该校数学与计算机科学学院攻读数学博士学位。他的研究兴趣主要集中在高维数据处理、四元数矩阵补全以及彩色图像处理领域。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号