《Neurocomputing》:Tensor completion using low-rankness and L
p
-norm sparsity under the tensor wheel structure
编辑推荐:
由于张量轮(Tensor Wheel,TW)分解在处理高阶数据方面具有优异的表征能力,近年来在张量填充等数据估计任务中受到广泛关注。然而,基于TW分解的模型性能高度依赖于TW秩的选择,容易导致过拟合,且在调参过程中耗费大量时间。为降低TW秩选择对模型性能的影响
由于张量轮(Tensor Wheel,TW)分解在处理高阶数据方面具有优异的表征能力,近年来在张量填充等数据估计任务中受到广泛关注。然而,基于TW分解的模型性能高度依赖于TW秩的选择,容易导致过拟合,且在调参过程中耗费大量时间。为降低TW秩选择对模型性能的影响,研究人员提出了一种结合低秩约束与Lp范数稀疏约束的张量轮分解模型。首先,研究人员揭示了TW分解与其环因子之间的低秩关系,通过在环因子上施加低秩约束,有效减少了秩选择对模型的敏感性。此外,研究人员证明TW分解可表示为多个分量张量环的加权和,其中核心因子的元素反映了对应张量环的重要性,因此通过对核心因子施加Lp范数稀疏约束,可调节各分量张量环的重要性,从而降低过拟合风险。鉴于L0范数优化属于NP难问题,研究人员采用p<1的Lp范数作为L0范数的更紧近似,以获得更好的稀疏解。随后,研究人员使用近端交替最小化(Proximal Alternating Minimization,PAM)方法对模型进行优化,并从理论上证明了该算法的收敛性。实验结果表明,在彩色图像、彩色视频和多光谱图像数据集上,该方法均优于多种现有先进张量填充方法。代码已开源:https://github.com/Yangxiajiao01/TWLP-model。
研究背景方面,现实世界中的高维数据(如多光谱图像、彩色视频、光场数据等)常以高阶张量形式存储,但由于采集设备限制或传输干扰,数据往往存在缺失值,限制了后续分析与处理。张量填充技术旨在利用数据内部的相关性恢复缺失元素,其中张量分解方法是核心工具。经典的CANDECOMP/PARAFAC(CP)分解和Tucker分解在早期被广泛应用,但CP秩确定是NP难问题,而Tucker分解的存储复杂度随阶数指数增长,难以适用于高阶数据。为解决这一问题,张量列(Tensor Train,TT)分解和张量环(Tensor Ring,TR)分解相继被提出,显著降低了存储复杂度并提升了灵活性,但它们仅关注相邻模态间的关系,忽略了非相邻模态间的结构信息,导致复杂数据结构的信息损失。近年来,全连接张量网络(Fully Connected Tensor Network,FCTN)和张量轮(TW)分解被提出,能够同时捕捉任意两个模态间的关系,尤其是TW分解仅需2N个秩参数即可实现优异性能,但其模型性能仍对TW秩选择高度敏感,易引发过拟合与不稳定表现。为此,研究人员开展了针对TW分解的秩鲁棒性改进研究。
关键技术方法方面,研究人员首先从理论上分析了TW分解与环因子及核心因子之间的低秩与稀疏关系,在此基础上构建了结合环因子低秩约束和核心因子Lp范数稀疏约束的TW分解模型。优化过程采用近端交替最小化(PAM)算法,并通过数学推导证明了其收敛性。实验部分选取公开的多光谱图像、彩色视频和彩色图像数据集,在采样率分别为0.02、0.05和0.1的条件下,与TMac、TNN、TMac-TT、TRLRF、FCTNTC、TWTC、PSTNN、RCFCTN及RNCFCTN等多种先进方法进行对比评估。
研究结果方面,在引言部分,研究人员系统回顾了张量分解方法的发展历程,指出TW分解在高阶数据表征上的优势及其秩敏感性缺陷,并通过实验曲线验证了TW秩变化对性能的影响。在主要模型部分,研究人员建立了低秩与稀疏约束的TW填充模型,详细阐述了环因子低秩约束可减少秩选择的影响,核心因子Lp范数稀疏性可调整分量张量环的重要性,从而降低过拟合风险。在实验部分,研究人员在不同数据类型与缺失率条件下进行了定量与定性比较,结果显示所提方法在峰值信噪比(PSNR)和结构相似性(SSIM)等指标上均优于对比方法,尤其在采样率较低的情况下优势更为明显。在结论部分,研究人员总结了该方法在降低秩敏感性、提升填充精度与稳定性方面的贡献,并指出其在高维视觉数据恢复领域的应用潜力。
讨论与结论部分,研究人员强调,通过引入环因子低秩约束和核心因子Lp范数稀疏性,有效缓解了TW分解模型对秩选择的依赖,提升了模型的泛化能力与计算效率。理论分析与实验结果一致表明,该方法不仅在性能上优于现有主流张量填充方法,而且在复杂高阶数据恢复任务中具有更广泛的适用性。该研究发表于《Neurocomputing》,为张量轮分解在实际工程中的应用提供了可靠的理论基础与技术支持。