基于扰动周期二阶离散差分正则化的加速FCTN张量补全方法

《Communications in Nonlinear Science and Numerical Simulation》：Accelerated FCTN with Perturbed Periodic Second-Order Discrete Difference Regularization for Tensor Completion

　　谢文超|王庆松|颜成成|郑鹏 中国湘潭市湘潭大学数学与计算科学学院，邮编411105

摘要
全连接张量网络分解在张量补全领域中因能够有效捕捉张量的低秩特性而备受重视。然而，其重建过程主要依赖低秩约束，导致无法充分建模局部结构信息。本文提出一种新的张量补全模型，将该模型与扰动周期二阶离散差分正则化方法结合到全连接张量网络分解框架中。这种正则化方法在保持局部连续性和数值稳定性的同时提升了张量网络因子的结构平滑度，从而提高了张量重建质量。为了解决该模型，我们在近端交替最小化框架内开发了一种高效算法，并从理论上证明了其收敛性。此外，我们还提出了一种中间张量重用机制，该机制可在不牺牲图像重建性能的情况下有效减少算法运行时间，尤其是在处理大规模数据时能显著降低运行时间。全面的复杂度分析也证明了该机制的计算效率。大量实验结果表明，所提出的方法在重建质量方面始终优于其他几种竞争性张量补全方法。

引言
作为矩阵的自然高维推广，张量为表示复杂数据结构提供了强大工具，已被广泛应用于图像处理[1]、[2]、高光谱数据恢复[3]、[4]、机器学习[5]、[6]、[7]以及人脸识别[8]、[9]等诸多领域[10]、[11]、[12]、[13]、[14]。其中，高维图像补全因其理论意义和实用价值而受到广泛关注，例如[15]、[16]、[17]、[18]。在现实场景中，由于环境干扰、传感器噪声或设备故障等因素，高维图像数据常常会出现损坏或缺失部分元素的情况，这会严重影响数据的可用性和可靠性。张量补全技术旨在从部分观测或不完整的测量数据中恢复或重建完整的原始数据，为推断缺失元素和恢复高维数据集的完整性提供了一种系统化的方法。由于高维图像可以自然地表示为张量，因此张量补全方法为恢复缺失或损坏的信息提供了有效途径，进而提升了图像数据的质量、完整性和应用性。张量补全模型通常可表示为以下形式：

min_X rank(X) s.t. P_Ω(X?Y)=0

其中，X为目标张量，Y为部分观测到的张量，Ω表示观测元素的索引集，P_Ω(X)为投影算子，它保留与集合Ω对应的元素值，将其他所有元素置为零。不幸的是，由于秩函数rank(·)是离散且非凸的，因此秩最小化问题属于NP难问题。基于此，人们在低秩假设下发展出了两大类张量补全方法：低秩正则化方法和张量分解方法。为了更好地利用张量固有的低秩结构，人们还致力于将额外的先验信息引入低秩恢复模型中。张等人[19]采用了凸替代函数来近似张量秩，以简化低秩优化过程；王等人[20]通过引入结构平滑度信息来捕捉局部相关性，从而增强了低秩模型的性能；孔等人[21]则利用多层子空间先验来提供更丰富的结构指导，进而更有效地利用潜在的低秩结构。张量分解则是将原始张量表示为一组因子张量的乘积，通过对这些因子施加秩约束来实现秩的最小化。基于张量分解的常见方法包括CANDECOMP/PARAFAC（CP）分解[22]、[23]，Tucker分解[24]、[25]，张量奇异值分解[SVD] [26]、[27]、[28]、[29]，张量列车分解[TT] [30]、[31]，张量环分解[TR] [32]、[33]、[34]、[35]、[36]，以及全连接张量网络分解[FCTN] [37]、[38]。在上述张量分解方法中，TT分解、TR分解和FCTN分解都属于张量网络[39]框架。郑等人[40]对张量网络分解在数据恢复中的应用进行了全面综述，证明了其在数据表示和恢复方面的优势。TT分解通过两个矩阵A1∈R^{I1}×R^1和AN∈R^{R_{N-1}}×I_N，以及N - 2个三阶张量Ak∈R^{R_k?1}×I_k×R^k（其中k = 2,3,…,N?1），来表示一个N阶张量X∈R^{I_1×I_2×?×I_N}。TT分解中张量X的每个元素对应关系如下：

X(i1,i2,…,iN)=∑_{r1 = 1}^{R_1}∑_{r2 = 1}^{R_2}?∑_{r_{N?1}=1}^{R_{N?1}}A1(i1,r1)A2(r1,i2,r2)…AN(r_{N?1},iN)

TT分解的秩定义为r_{TT}=(R_1,R_2,?,R_{N?1})∈R^{N?1}。TR分解则利用N个三阶张量来表示一个N阶张量，张量的每个元素可由下式给出：

X(i1,i2,…,iN)=∑_{r1 = 1}^{R_1}∑_{r2 = 1}^{R_2}?∑_{rN = 1}^{R_N}A1(rN,i1,r1)A2(r1,i2,r2)…AN(r_{N?1},iN,rN)

其中，A1(rk,i1,r1)∈R^{R_N×I_1×R_1}，Ak(rN,ik,r1)∈R^{R_k?1×I_k×R^k}（k = 2,3,…,N）为TR因子。TR分解的秩定义为r_{TR}=(R_1,R_2,?,R_N)∈R^N。Bengua等人[24]基于TT分解提出的张量补全方法以及Yuan等人[41]基于张量环提出的方法都取得了不错的效果。不过，TT分解和TR分解仅能描述张量中相邻模式之间的相关性，且无法保持张量转置后的不变性。为了解决TT分解和TR分解的局限性，郑等人[38]提出了FCTN分解。FCTN分解将一个N阶张量X∈R^{I_1×I_2×?×I_N}表示为N个因子张量的多重线性乘积。张量X的元素对应关系如下：

X(i1,i2,…,iN)=∑_{r1,2 = 1}^{R_{12}}∑_{r1,N?1 = 1}^{R_{1,N?1}}∑_{r1,N = 1}^{R_{1,N}}∑_{r2,3 = 1}^{R_{23}}?∑_{r2,N?1 = 1}^{R_{2,N?1}}∑_{r2,N = 1}^{R_{2,N}}?∑_{rN?2,N = 1}^{R_{N?2,N}}∑_{rN?1,N = 1}^{R_{N?1,N}}(A1(i1,r1,2,…,r1,N?1,r1,N)A2(r1,2,i2,…,r2,N?1,r2,N)…Ak(r1,k,…,rk?1,k,ik,rk,k+1,…,rk,N)…AN(r1,N,r2,N,…,rN?1,N,iN))

其中，Ak∈R^{R_1,k×R_2,k×?×R_{k?1,k}×I_k×R^k,k+1×?×R^{R_k,N}（k = 1,2,…,N）为FCTN因子。FCTN的秩定义为r_{FCTN}=(R_1,2,R_1,3,…,R_1,N,R_2,3,R_2,4,…,R_2,N,…,R_{N?1,N})∈R^{N(N?1)}2。为进一步提升FCTN分解的张量补全性能，赵等人[37]提出了一种带正则化的FCTN分解模型，即FCTNFR模型，该模型能有效利用张量的低秩结构，获得出色的补全效果。尽管该模型同时考虑了全局低秩性和局部连续性，但在恢复精细的局部细节方面仍存在不足。特别是在低采样率条件下，重建结果往往伴随着明显的局部噪声和结构扭曲，难以准确恢复局部纹理和精细细节，进而降低了重建质量。此外，FCTN分解基于PAM的迭代优化过程涉及大量重复计算。中间结果利用不当会导致大量的计算冗余，增加大规模张量数据的处理成本。为解决上述问题，本文提出了一种基于FCTN的新型张量补全方法，称为AFCTNLR。该方法通过引入扰动周期二阶离散差分正则化项，在保持FCTN因子局部连续性的同时提升其结构平滑度，从而更好地恢复局部细节并提高整体张量重建质量。此外，我们还开发了一种中间张量重用策略，旨在充分利用迭代优化过程中产生的重复计算，有效减少计算冗余并缩短算法运行时间。本文的主要贡献如下：
• 简洁高效的基于FCTN的张量补全模型。我们提出了一种带有扰动周期二阶离散差分正则化的新型FCTN基张量补全模型。该模型通过FCTN分解保持张量的全局低秩特性，同时提升FCTN因子的结构平滑度、局部连续性和数值稳定性，从而实现更精确的张量重建。
• 更低的计算复杂度。为高效求解该模型，我们基于PAM框架开发了相应算法，证明了其理论收敛性，并设计了中间张量重用机制，以降低运行时间和计算复杂度。对计算复杂度的详细分析表明，该重用机制能在每次完整迭代中持续降低计算成本。
• 全面的数值实验。在彩色视频（包括传统视频和最新视频）以及多时相高光谱图像上的大量实验表明，所提出的AFCTNLR方法在所有竞争方法中始终能获得最佳的PSNR值和接近最佳的SSIM值，同时与FCTNFR相比，其运行时间可减少7%–21%。

本文的其余结构如下：第2节阐述本文所需的符号、定义及性质；第3节介绍模型、算法、复杂度分析及收敛性分析；第4节描述我们在彩色视频和高光谱图像上进行的实验；第5节总结本文的工作内容。

符号说明
在本文中，我们主要采用[22]中的符号约定，使用粗体小写字母（如x）、粗体大写字母（如X）以及手写体字母（如??）分别表示向量、矩阵和张量。对于一个矩阵X∈R^{I×I}，其迹定义为tr(X)=∑_{i = 1}^I X_{ii}，其中X_{ii}是X的第i个对角元素。对于一个N阶张量X∈R^{I_1×?×I_N}，我们用X(i1,i2,…,iN)表示其第(i1,i2,…,iN)个元素，其Frobenius范数和?1范数定义为∥X∥_F:= (∑_{i1,i2,…,

模型与算法
在本节中，我们提出了一种带有扰动周期二阶离散差分正则化的新型基于FCTN的张量补全模型。基于PAM框架，我们开发了一种高效的优化算法来解决该模型，同时引入了中间张量重用策略以提高计算效率。此外，我们还详细分析了该算法的计算复杂度和收敛性质。

数值实验
本节用于评估所提出的AFCTNLR算法的性能。我们在彩色视频和多时相高光谱图像上将该方法与以下七种方法进行比较，这七种方法分别是LTHCSR[43]、HDCT[44]、NPTCAT[45]、GTT-VI[46]、TRGFR[47]、FCTN[38]和FCTNFR[37]。为评估重建结果的质量，我们采用了两种评估指标：峰值信噪比（PSNR）和结构相似性指数（SSIM）。它们的定义如下：

结论
在本文中，我们通过将扰动周期二阶离散差分正则化方法引入FCTN分解框架，提出了一种新型的基于FCTN的张量补全模型。该正则化方法提升了FCTN因子的结构平滑度、局部连续性和数值稳定性，从而提高了张量重建质量。因此，所提出的模型在实现更精确的张量补全的同时，还能有效保持张量固有的全局低秩特性。

CRediT作者贡献说明
谢文超：写作——审阅与编辑，写作——初稿撰写，方法论，数据整理，概念构思。王庆松：写作——审阅与编辑，方法论，资金获取，概念构思。颜成成：监督，方法论，数据整理，概念构思。郑鹏：写作——审阅与编辑，可视化，监督。

利益冲突声明
作者声明不存在任何可能影响本文研究结果的已知财务利益或个人关系。