基于ReLU的稀疏非负数据非线性张量分解方法

《Journal of Computational and Applied Mathematics》：ReLU-based Nonlinear Tensor Decomposition for Sparse Nonnegative Data

　　摘要：利用低秩近似来发现张量数据中的内在结构是一种常见方法。然而，稀疏非负张量则带来挑战，因为其稀疏结构并不符合这些标准方法所要求的低秩假设。因此，我们提出了一种基于ReLU的非线性张量分解模型（ReLU-NTD）。该方法将稀疏非负张量M分解为M≈max(0,X)的形式，其中X为低秩潜变量张量。我们设计了交替最小化框架，并结合QR分解与维度树策略以提高数值稳定性和可扩展性。理论分析证明了该方法的收敛性，表明使用维度树减少QR分解的计算量，能降低整体复杂度。在合成数据和真实数据集上的大量实验表明，所提出的ReLU-NTD模型相比传统低秩模型具有更低的重建误差和更紧凑的表示形式，为分析稀疏非负张量数据提供了有力工具。

引言：张量是向量和矩阵的多维扩展[1]、[2]、[3]。它们被广泛用于图像处理[4]、[5]、机器学习[6]、[7]、信号处理[8]、[9]以及数据挖掘[10]、[11]等领域的数据表示。特别是在图像处理中，彩色图像和灰度视频可表示为三阶张量，而彩色视频则为四阶张量。实际应用中的张量往往具有低秩特性，因为其潜在特征的真正维度远低于观测到的数据维度。一个典型例子是高光谱图像，其中各光谱带之间存在高度相关性，从而导致其具有固有的低秩结构[12]。对于一个N阶张量M∈RI1×?×IN，人们通常认为它可以被一个低秩张量很好地近似，即存在某个低秩张量X使得M≈X且X为低秩张量。这种近似在张量分解、补全及相关分析的众多研究中起着核心作用。与矩阵情况（N=2）不同，张量的秩更为复杂，根据所选的分解方案有不同的定义。常见的分解方法包括CANDECOMP/PARAFAC（CP）分解[13]、[14]、[15]、Tucker分解[16]、张量列分解[17]、[18]、张量环分解[19]以及张量网络[20]。除了可能存在低秩性之外，许多大规模张量数据集还本质上是非负且稀疏的，这意味着直接采用低秩假设可能不够准确甚至错误。我们在示例1中通过合成数据，图2中通过真实数据展示了这一点。在本研究中，我们提出了一种专为分析非负稀疏张量设计的非线性张量分解框架。具体而言，给定一个非负稀疏张量M∈RI1×?×IN，我们寻找一个实值张量X，使得rank(X)≤rank(M)，并且满足M≈f(X)，同时X为低秩张量，这里的f表示逐元素的非线性变换函数。我们重点考虑修正线性单元函数f(x)=max(0,x)，该函数作为激活函数在深度神经网络中被广泛应用[21]。由此可得如下特定形式：M≈max(0,X)，其中X为低秩张量。这种形式对稀疏张量M具有显著优势，因为它允许M中的零元素对应X中的任意非正值，从而大幅扩展了解空间，提高了发现低秩表示的灵活性和效率。为更好地说明这一概念，我们给出以下简单示例。

示例1：考虑一个三阶稀疏非负张量M，其秩大于2，但其对应的低秩张量X的秩为2。具体来说，令M∈R3×3×3，其各分量如下：
M(:,:,1)=[330011300]，
M(:,:,2)=[001100002]，
M(:,:,3)=[840000420]。
由于M的第一层秩为3，因此M的估计秩至少为3。满足M=max(0,X)关系的一个低秩张量X如下：
X(:,:,1)=[33?1?11130?2]，
X(:,:,2)=[?3?311?1?1?302]，
X(:,:,3)=[84?400042?2]。
我们可以验证，X的CP秩为2，其CP分解因子如下：
A(1)=[?2?10?1?11]，
A(2)=[?2?1?1111]，
A(3)=[1?1?1120]。
图1展示了这一结果。图1中的张量M虽为随机生成，但从多个角度体现了NTD的核心思想。这一发现促使人们系统地研究其理论基础、计算算法及实际应用。为进一步体现本研究的必要性，我们给出了一个真实世界的数值实验（见图2）。实验结果表明，与传统的CP分解下的低秩模型相比，所提出的CP分解下的NTD模型（即模型5）在恢复非负稀疏张量的低秩结构方面具有更强的能力。为量化M与max(0,X)之间的近似误差，我们考虑以下非凸优化问题：
minX12∥M?max(0,X)∥F2，s.t.rank(X)=R，
其中R通常远小于数据的总维度。我们将该问题称为基于ReLU的NTD（ReLU-NTD）。矩阵情况（N=2）已在相关研究中得到探讨。Saul [22]、[23]提出了类似的公式，称为基于ReLU的非线性矩阵分解（ReLU-NMD），并设计了专门的优化技术。后续研究[24]、[25]、[26]、[27]通过开发更高效的算法，并证明其在基向量压缩[24]和数据聚类[26]等实际任务中的有效性，进一步推动了ReLU-NMD的发展。不过，以往的研究主要集中于矩阵（N=2），高阶张量（N≥3）则几乎未被研究。填补这一空白正是我们研究的核心贡献之一。直接优化方程(3)中的目标函数较为困难，因为它涉及嵌入在非凸模型中的复合非线性映射。为解决这一问题，我们引入了一个辅助变量W，从而得到如下等价重构形式：
minW,X12∥W?X∥F2，s.t.rank(X)=R，max(0,W)=M。
具体而言，我们用CP分解表示法来近似X∈RI1×?×IN：
X=∑r=1RA(1)(:,r)°?°A(N)(:,r)，
其中R为正整数，°表示外积，A(n)∈RIn×R，n=1,?,N。将此表示代入方程(4)后，可得：
minW,A(1),?,A(N)12∥W?∑r=1RA(1)(:,r)°?°A(N)(:,r)∥F2，s.t.max(0,W)=M。
本文的其余部分将致力于分析和求解这一多块非凸优化问题。我们的主要贡献如下：
•模型创新：我们提出了基于ReLU的非线性张量分解模型（ReLU-NTD），用于发现稀疏非负张量中的潜在低秩结构。
•算法开发：我们设计了交替最小化框架及其加速版本，通过结合QR分解和维度树技术，实现了稳定且可扩展的计算，其复杂度与传统ALS相当。
•实证验证：在合成数据和真实数据集上的大量实验表明，ReLU-NTD相比传统张量分解方法，始终能获得更低的重建误差和更紧凑的低秩表示。
本文的其余结构如下：第2节介绍相关定义和基础知识；第3节阐述所提出的算法框架及其加速版本，并分析其计算复杂度和收敛性保证；第4节通过合成数据和真实数据集的数值实验，证明基于ReLU的张量分解模型的稳定性以及所提算法的有效性；最后第5节对全文进行总结。

章节片段：
基础知识：我们用张量来表示实数的多维数组。具有N个指标的张量被称为N元张量，也可称为N阶张量或具有N种模式。对于至少具有三种模式的张量，我们用斜体字符（如X、M）表示；矩阵用大写字母（如A、B）表示；向量用小写字母（如a、b）表示。N阶张量对应于尺寸为I1×?×IN的N维数组。我们可用括号或下标来表示对象中的各个元素。

算法：在本节中，我们将详细解释所提出的算法，以及为提升其数值性能而引入的改进措施。同时，我们还会分析该算法的计算复杂度并证明其收敛性。为简化表述，我们定义f(W,A(1),?,A(N)):=12∥W?∑r=1RA(1)(:,r)°?°A(N)(:,r)∥F2，并设I+:={(i1,?,iN)|Mi1?iN>0}，I0:={(i1,?,iN)|Mi1?iN=0}。

数值实验：在本节中，我们应用所提出的算法来解决优化问题(5)，并将其性能与传统的CP分解方法进行比较。传统CP分解可通过CP-ALS算法（算法1）、CP-ALS-QR算法（算法2）以及结合维度树的CP-ALS-QR-DT算法来求解。我们通过多个示例展示ReLU-NTD相比传统CP分解的优势，重点关注其性能表现。

结论：在本研究中，我们运用ReLU函数解决了非线性张量分解问题，提出了高效的交替最小化方法来处理这一多块非凸优化问题。为进一步提升该算法的性能，我们引入了外推法、QR分解和维度树技术。大量数值实验表明，ReLU-NTD模型的性能优于传统的CP分解模型。

资助情况：本研究得到了中国国家自然科学基金（编号12131004、12401415、12471282）、琶洲实验室（黄埔）研发项目（编号2023K0603、2023K0604）、111计划（编号D23017）、湖南省自然科学基金（编号2025JJ60009）以及中央高校基本科研业务费（编号YWF-22-T-204）的支持。

作者：王庆松|刘泽辉|崔春峰|韩德仁
单位：湘潭大学数学与计算科学学院，湖南应用数学中心，中国湘潭市411105