基于四元数张量鲁棒优化方法的彩色视频修复

《Journal of Visual Communication and Image Representation》：Color video restoration based on quaternion tensor robust optimization method

　　

•四元数张量将颜色向量和视频结构保留在单一对象中。
•一种迭代算法通过闭式子问题求解该模型。
•局部块对齐增强了鲁棒补全中的低秩先验。

引言
在科学和工程实践中，收集、存储和处理大量数据已成为常态。如今存在各种数据恢复方法，例如基于统计特性的均值滤波、基于时频域变换的小波阈值法、基于空间特性的二维全变分法等。为了更好地利用自然数据的特性，可以雇用稀疏性和低秩等先验约束。彩色视频的时空相关性可以建模为低秩先验约束。已有鲁棒主成分分析（RPCA）[1]、用于数据恢复的低秩表示模型 [2] 等模型。RPCA 是第一个具有强恢复保证的多项式时间算法。假设我们有一个观测矩阵 $X \in \mathbb{R}^{n_1 \times n_2}$，它可以分解为 $X = L_0 + S_0$，其中 $L_0$ 是低秩的，$S_0$ 是稀疏的。已证明，如果 $L_0$ 是低秩的且 $S_0$ 足够稀疏，则可以通过求解以下问题以高概率精确恢复 $L_0$ 和 $S_0$：
$$ \min_{L,S} \|L\|_* + \lambda \|S\|_1, \quad s.t. \quad L+S=X $$
其中 $\|L\|_*$ 约束 $L$ 的秩，$\|S\|_1$ 约束 $S$ 的稀疏性。

然而，大多数现实世界的数据是多维的，称为张量。直接将矩阵恢复方法应用于张量会导致信息丢失。2011 年，Shi 等人 [3] 提出了一种基于 Tucker 近似的算法来解决张量恢复问题，并成功应用于人脸重建任务。2011 年，Misha E. Kilmer 和 Carla D. Martin [4] 引入了针对三阶实张量的 t-乘积，以减轻张量乘法过程中的信息丢失。他们基于这种新颖的 t-乘积提出了针对三阶实张量的奇异值分解算法。2013 年，Carla D. Martin 和 Richard Shafer 等人 [5] 将 t-乘积和奇异值分解算法扩展到任意阶张量。

2016 年，Daniel Kressner 等人 [6] 提出了一种基于流形概念的非线性共轭梯度张量恢复方法。2020 年，基于 Carla D. Martin 的研究，Lu 等人 [7] 定义了一种基于三阶实张量奇异值分解的新张量核范数。他们将矩阵 RPCA 扩展到三阶张量 RPCA。该技术被有效地应用于图像前景 - 背景分离任务。Jiang 和 Michael K. Ng [8] 提出了一种基于新张量核范数的鲁棒张量补全方法（RTC）。该方法将用于与我们的方法进行对比。Qin 等人 [9] 在阶数 d 的 t-svd 框架下设计了两种融合随机投影技术的有效低秩张量近似方法，并应用于鲁棒高阶张量补全问题。2024 年，Wang 等人 [10] 提出了一种鲁棒高阶张量补全（RHOTC）模型，该模型能够同时处理高阶数据的稀疏噪声和缺失条目，将基于 t-SVD 的 RPCA 框架扩展到任意张量阶数。2023 年，Yu 和 Bai [11] 开发了小波变换下三阶张量补全的非凸优化模型。

尽管这些实张量方法比基于矩阵的方法更好地保留了多路空间或时间结构，但在彩色视频恢复方面仍存在局限性。在许多实张量模型中，红、绿、蓝通道被连接为额外的维度，这可能会削弱颜色通道之间的内在耦合。这一局限性促使使用四元数表示，其中 RGB 通道可以整合到单一的代数单元中并联合处理。

四元数的概念最初由 Hamilton [12] 提出。最近，四元数被发现是彩色图像和视频处理中的强大工具 [13]，[14]，[15]，[16]。彩色图像和彩色视频可以分别由四元数矩阵和三维四元数张量表示，如图 1、图 2 所示。在我们的研究中，R、G、B 通道被放入三个虚部中。1997 年，Zhang [17] 提出了四元数矩阵的奇异值分解算法，并系统地总结了四元数矩阵的运算性质。2019 年，Jia 和 Michael K. Ng [18] 等人提出了一种鲁棒四元数矩阵恢复算法，将实矩阵 RPCA 扩展到四元数集合。2021 年，Song 等人 [19] 提出了一种基于交替方向投影的低秩纯四元数矩阵近似方法。2022 年，Jia 等人 [20] 研究了一种基于非局部自相似性的鲁棒四元数矩阵恢复算法。

2020 年，Miao 等人 [15] 提出了一种低 Tucker 秩四元数张量补全方法。2022 年，Qin、Ming 和 Zhang [16] 定义了三阶四元数张量的奇异值分解和秩。Zheng 和 Ni [21] 提出了四元数块循环矩阵的对角化方法和四元数 t-乘积的快速计算方法。因此，他们进一步在 2023 年引入了四元数张量奇异值分解算法和四元数张量低秩近似方法 [22]。

2023 年，Jia 和 Zhu [23] 提出了一种用于彩色视频恢复的鲁棒四元数张量补全模型。他们的四元数张量核范数定义为通过对张量沿每个模式展开所得到的四元数矩阵核范数的凸组合。虽然这种定义利用了四元数代数进行跨通道耦合，但逐模式展开操作本质上将张量视为一组矩阵的集合，这可能会削弱时间维度上的内在张量结构信息。

相比之下，我们的方法定义了基于 Zheng 和 Ni [22] 发展的四元数张量奇异值分解（t-QSVD）的核范数，该分解将 Kilmer 等人 [4] 的实 t-乘积框架扩展到四元数张量。t-乘积沿第三个模式执行循环卷积，这自然地将视频帧之间的时间相关性捕获为一个整体张量，而不是独立的矩阵切片。这种循环卷积结构提供了对空间 - 时间结构更忠实的表征，从而导致更紧致的张量平均秩的凸替代。关键区别在于，Jia 和 Zhu 的范数在展开后聚合矩阵级信息，而我们的范数是通过 t-QSVD 直接在张量级别定义的，同时保留了多路结构和四元数颜色耦合。

综上所述，本文的主要贡献总结如下：
•定义了一种新颖的四元数张量核范数，基于四元数张量奇异值分解（t-QSVD）。这种创新的范数有效地保留了张量结构和颜色向量。此外，已证明所定义的核范数作为四元数张量平均秩的凸替代。
•已证明，在特定条件下，所提出的模型能够准确恢复具有低平均秩的四元数张量，即使它包含缺失像素并被稀疏噪声污染。
•引入了一种 ADMM 算法来解决鲁棒四元数张量补全模型。该模型使用四元数张量表示和恢复彩色视频。当应用于彩色视频恢复任务时，基于图像对齐的鲁棒四元数张量补全方法优于传统算法，在量化指标和视觉效果上均取得更好的结果。

本文其余部分结构如下。在第 2 节中，我们介绍了关于四元数 t-乘积和四元数张量奇异值分解的一些预备知识。在第 3 节中，我们建立了鲁棒四元数张量补全模型，并给出了求解该模型的优化细节。在第 4 节中，我们将所提出的算法应用于彩色视频恢复，并引入了一种图像对齐方法来改进恢复效果。在第 5 节中，我们给出了合成数据、真实彩色视频和安全行为视频数据集上的数值示例。结论在第 6 节中给出。

符号说明。$\mathbb{R}$、$\mathbb{C}$ 和 $\mathbb{Q}$ 分别表示实域、复域和四元数环。花体大写字母表示张量，例如 $\mathcal{T}$。大写字母表示矩阵，例如 $U$。粗体小写字母表示向量，例如 $\mathbf{v}$。小写字母表示标量，例如 $x$。$U_{ij}$ 表示矩阵 $U$ 中行索引为 $i$、列索引为 $j$ 的元素（同样 $\mathbf{v}_i$ 和 $\mathcal{T}_{i_1 i_2 \dots i_N}$）。四元数矩阵 $U$ 的谱范数表示为 $\|U\|_2 = \max_i \sigma_i$，即 $U$ 的最大奇异值。四元数张量 $\mathcal{T}$ 的谱范数表示为 $\|\mathcal{T}\|_s$。使用符号 $A(i,:,:)$、$A(:,j,:)$ 和 $A(:,:,k)$ 分别表示第 $i$ 个水平切片、第 $j$ 个侧切片和第 $k$ 个前切片。设 $m > 0$ 为整数，记 $\underline{m} := \{1, 2, \dots, m\}$ 为整数集合。$(\cdot)^*$ 表示其共轭转置。$(\cdot)^{\bar{}}$ 表示其共轭。

章节摘要 四元数
四元数有一个实部和三个虚部，记为 $q = q_r + q_i i + q_j j + q_k k$
其中 $q_r, q_i, q_j, q_k \in \mathbb{R}$，$i, j, k$ 是满足以下条件的三个虚数单位：$i^2 = j^2 = k^2 = ijk = -1, ij = -ji = k, jk = -kj = i, ki = -ik = j$。
四元数的模定义为 $|q| = \sqrt{q_r^2 + q_i^2 + q_j^2 + q_k^2}$。
四元数的共轭定义为 $q^{\bar{}} = q^* = q_r - q_i i - q_j j - q_k k$。

定义 2.1 [18]
对于四元数矩阵 $A$ 和 $B$，它们之间的内积由下式给出：
$$ \langle A, B \rangle = Tr(A^* B) $$
其中 $Tr(A^* B)$ 表示 $A^* B$ 的迹。

定理 2.1 [17]
设 $A \in \mathbb{Q}^{n_1 \times n_2}$，则它可以

鲁棒四元数张量补全模型与算法
在本节中，我们定义了一种第三维对称四元数张量的核范数，类似于 Lu [7] 为实张量定义的核范数。我们证明对于第三维对称四元数张量，核范数是四元数张量平均秩的凸包络。我们建立了一个 RQTC 模型，并提出了一种 RQTC 算法用于第三维对称四元数张量恢复问题。

彩色视频恢复
算法 1 针对第三维对称四元数张量。然而，彩色视频通常由四元数张量表示，该张量以高概率不是第三维对称的。因此，我们提出如下过程。
设 $L_0 \in \mathbb{Q}^{n_1 \times n_2 \times n_3}$ 为彩色视频，$E_0 \in \mathbb{Q}^{n_1 \times n_2 \times n_3}$ 为噪声张量，$\Omega_A \in \{0, 1\}^{n_1 \times n_2 \times n_3}$ 为支撑张量。则观测到的彩色视频表示为 $A = P_{\Omega_A}(L_0 + E_0)$。我们将 $A$ 转换为第三维对称四元数张量 $X$，即 $X = \text{cat}(3, A, A(:,:,n_3-1:-1:2))$，$\Omega_X = ...$

数值示例
在本节中，我们进行实验以证明我们的 RQTC 方法在合成数据上用于鲁棒低秩四元数张量恢复的有效性，以及 IA-RQTC 方法在‘videoSegmentationData’数据库 [25] 和安全行为数据集 [26] 上用于彩色视频恢复的有效性。
在第 5.1 节中，我们介绍实验设置。在第 5.2 节 合成四元数张量恢复 和 5.3 节 彩色视频恢复 中，我们分别给出了合成数据和彩色视频上的数值结果。

结论
基于最近发展的第三维对称四元数张量奇异值分解，我们定义了一种第三维对称四元数张量核范数（t-QTNN），并证明它是四元数张量平均秩在谱范数单位球上的凸包络。利用此 t-QTNN，我们提出了一种鲁棒四元数张量补全模型，旨在恢复被稀疏噪声破坏的不完整低秩四元数张量。该模型被证明

CRediT 作者贡献声明
Runchao Feng: 撰写 – 审阅与编辑，撰写 – 原稿，可视化，验证，软件，方法论，调查，正式分析，数据整理，概念化。Ying Li: 撰写 – 审阅与编辑，监督，资源，项目管理，资金获取，概念化。Guyan Ni: 撰写 – 审阅与编辑，监督，项目管理，调查，资金获取，概念化。

利益冲突声明
作者声明他们没有已知的竞争性经济利益或个人关系，这些利益或关系可能会影响本文报告的工作。

致谢
Ying Li 部分资助于湖南省自然科学基金（项目编号 2025JJ50014）。
Guyan Ni 部分资助于国家自然科学基金（项目编号 12371315）。
Runchao Feng|Ying Li|Guyan Ni