混合精度全连接张量网络分解

《Applied Mathematics Letters》：Mixed-precision fully-connected tensor network decomposition

　　摘要全连接张量网络分解因其能够捕捉任意两个因子之间的相互作用而展现出强大的表示能力，因此受到了广泛关注。然而，该分解方法的高计算复杂度限制了其广泛应用。为解决这一问题，我们提出了一种新的混合精度梯度下降法用于加速全连接张量网络分解。具体而言，首先采用低成本的低精度梯度下降法得到一个合理的初始点，然后再利用高精度梯度下降法在少量迭代中实现快速收敛。所提出的方法不仅显著减少了计算时间，还保持了高精度。从理论上，我们还提供了严格的分析来证明所提方法的收敛性。在合成数据集和真实世界张量数据集上的大量实验表明，我们的方法比高精度全连接张量网络分解方法具有更高的效率。

引言作为多维数组，张量已被广泛用作高维数据的基本表示形式[1]、[2]、[3]、[4]、[5]、[6]。包括CANDECOMP/PARAFAC（CP）分解[7]、[8]、Tucker分解[9]、[10]、[11]、张量奇异值分解（T-SVD）[12]、[13]在内的张量分解方法，已成为分析和处理高维数据的经典技术。由于其强大的表示能力，张量分解在数据分析[14]、[15]、[16]、机器学习[17]、[18]以及计算机视觉[19]、[20]、[21]等多个领域都受到了极大关注。与传统张量分解相比，张量网络分解具有更复杂的拓扑结构和交互作用，为张量提供了一种创新的表示框架[22]、[23]。张量网络分解将N阶张量分解为一组因子张量（或矩阵），并在这些因子组件之间构建交互式张量收缩操作。一些具有代表性的且被广泛采用的张量网络分解方法包括张量列车分解[24]、张量环分解[25]以及全连接张量网络分解[26]。对于N阶张量，张量列车分解将其表示为两个因子矩阵以及N?2个三阶因子张量；张量环分解则用三阶张量替代张量列车分解中的两个矩阵，并在第一和最后一个因子张量之间引入交互式张量收缩；而全连接张量网络分解则通过在任何一对因子之间引入交互式张量收缩，将N阶张量表示为N个紧凑的N阶因子张量。由于全连接张量网络分解中任意一对因子之间存在交互式张量收缩，相较于张量列车分解和张量环分解，它具有两大优势：首先，全连接张量网络分解能够捕捉高阶张量中任意两个维度之间的相关性，从而具备更强的表示能力；而张量列车分解和张量环分解仅考虑相邻因子之间的关系，导致描述不够完整。其次，全连接张量网络分解具有转置不变性，使其表示更加稳定，而张量列车分解和张量环分解在张量模式转置时可能会发生变化。不过，全连接张量网络分解的高计算复杂度仍限制了其广泛应用。近年来，人工智能的快速发展引发了人们对能够支持混合精度和低精度运算的计算硬件的极大兴趣。例如，谷歌的Tensor Processing Units（TPU）[27]能够基于16位浮点数高效地执行机器学习任务。同样，NVIDIA的Tensor Core GPU也支持双精度、单精度和半精度浮点运算以及多种低精度整数运算。尽管混合精度计算在众多科学计算任务中取得了显著成果[28]、[29]、[30]、[31]，但在张量计算领域却鲜有相关研究和应用。为加速全连接张量网络分解，我们提出了一种新的混合精度全连接张量网络分解算法。具体而言，首先采用低成本的低精度梯度下降法得到一个合理的初始点，然后再利用高精度梯度下降法在少量迭代中实现快速收敛。所提出的方法不仅显著减少了计算时间，还保持了高精度。本文的主要贡献如下：•我们提出了一种新的混合精度全连接张量网络分解算法，通过采用两阶段优化框架来加速全连接张量网络分解，其中低精度梯度下降阶段用于以低成本找到初始点，高精度梯度下降阶段则能在少量迭代中实现快速收敛。此外，我们还提供了严格的理论分析来证明所提方法的收敛性。•在合成数据集和真实世界张量数据集上的大量实验表明，我们的方法比高精度全连接张量网络分解方法具有更高的效率。

符号与预备知识标量、向量、矩阵和张量分别用x、y、X和X表示。对于N阶张量X∈R^I1×I2×?×IN，我们用X(i1,i2,…,iN)表示X的第(i1,i2,…,iN)个元素。张量X的Frobenius范数定义为‖X‖F=∑i1,i2,…,iN|X(i1,i2,…,iN)|2。

所提出的模型通过求解以下优化问题可以实现张量的全连接张量网络分解：min{Gn}n=1N12‖X?FCTN{Gn}n=1N‖F2，其中全连接张量网络分解简记为FCTN{Gn}n=1N。设Mn的大小为I1×R1,n×I2×R2,n×?×In?1×Rn?1,n×Rn,n?1×In+1×?×Rn,N×IN，它是通过收缩全连接张量网络分解的因子G1,G2,…,Gn?1,Gn+1,…,GN而形成的系数张量。根据[26]中的定理4，方程3可以改写为X(n)=(Gn)(n)(Mn)p1:N?1;q1:N?1，其中pi=2i,ifi< />
收敛性分析在本节中，我们将严格证明所提算法的理论收敛性。为便于说明，我们将问题的目标函数表示为l({gn}n=1n)=12‖x?fctn{gn}n=1n‖f2。

引理1 对数利普希茨连续梯度性质对于全连接张量网络分解的模式-n子问题，目标函数可表示为ln((gn)(n))=12‖x(n)?(gn)(n)mn‖f2。此时，损失函数的梯度为：(qn)(n)=(gn)(n)mnmn??x(n)mn?。定义对称正半定hessian矩阵hn=mnmn?，则梯度可简化为

数值实验为了验证所提出的全连接张量网络分解算法的有效性和优越性，我们在包括合成数据和真实数据在内的多维数据集上进行了全面的对比实验和分析。所有实验均在配备有intel(r) core(tm) i7-13700kf cpu、nvidia geforce rtx 4070 ti gpu以及64 gb内存的pc上完成。所提出的全连接张量网络分解算法以及所有基线方法都是使用python和pytorch库实现的，并借助gpu加速进行计算。

结论在本文中，我们提出了一种新的全连接张量网络分解算法——fctn-mpgd，用于加速全连接张量网络分解。具体而言，首先采用低成本的低精度梯度下降法得到一个合理的初始点，然后再利用高精度梯度下降法在少量迭代中实现快速收敛。所提出的方法不仅显著减少了计算时间，还保持了高精度。此外，我们还提供了严格的理论分析来证明该方法的收敛性。

致谢本研究得到了中国国家重点研发计划（2025yfa1016400）、国家自然科学基金（编号12371456）以及四川省科技计划（编号2024nsfsc0038）的支持。

周廷伟|赵希乐|车茂林|刘胜 收敛性分析在本节中，我们将严格证明所提算法的理论收敛性。为便于说明，我们将问题的目标函数表示为l({gn}n=1N)=12‖X?FCTN{Gn}n=1N‖F2。 引理1 对数利普希茨连续梯度性质对于全连接张量网络分解的模式-n子问题，目标函数可表示为ln((gn)(n))=12‖X(n)?(Gn)(n)Mn‖F2。此时，损失函数的梯度为：(Qn)(n)=(Gn)(n)MnMn??X(n)Mn?。定义对称正半定Hessian矩阵Hn=MnMn?，则梯度可简化为 数值实验为了验证所提出的全连接张量网络分解算法的有效性和优越性，我们在包括合成数据和真实数据在内的多维数据集上进行了全面的对比实验和分析。所有实验均在配备有intel(r) core(tm) i7-13700kf cpu、nvidia geforce rtx 4070 ti gpu以及64 gb内存的pc上完成。所提出的全连接张量网络分解算法以及所有基线方法都是使用python和pytorch库实现的，并借助gpu加速进行计算。 结论在本文中，我们提出了一种新的全连接张量网络分解算法——fctn-mpgd，用于加速全连接张量网络分解。具体而言，首先采用低成本的低精度梯度下降法得到一个合理的初始点，然后再利用高精度梯度下降法在少量迭代中实现快速收敛。所提出的方法不仅显著减少了计算时间，还保持了高精度。此外，我们还提供了严格的理论分析来证明该方法的收敛性。 致谢本研究得到了中国国家重点研发计划（2025yfa1016400）、国家自然科学基金（编号12371456）以及四川省科技计划（编号2024nsfsc0038）的支持。>
收敛性分析在本节中，我们将严格证明所提算法的理论收敛性。为便于说明，我们将问题的目标函数表示为l({gn}n=1n)=12‖x?fctn{gn}n=1n‖f2。

引理1 对数利普希茨连续梯度性质对于全连接张量网络分解的模式-n子问题，目标函数可表示为ln((gn)(n))=12‖x(n)?(gn)(n)mn‖f2。此时，损失函数的梯度为：(qn)(n)=(gn)(n)mnmn??x(n)mn?。定义对称正半定hessian矩阵hn=mnmn?，则梯度可简化为

数值实验为了验证所提出的全连接张量网络分解算法的有效性和优越性，我们在包括合成数据和真实数据在内的多维数据集上进行了全面的对比实验和分析。所有实验均在配备有intel(r) core(tm) i7-13700kf cpu、nvidia geforce rtx 4070 ti gpu以及64 gb内存的pc上完成。所提出的全连接张量网络分解算法以及所有基线方法都是使用python和pytorch库实现的，并借助gpu加速进行计算。

结论在本文中，我们提出了一种新的全连接张量网络分解算法——fctn-mpgd，用于加速全连接张量网络分解。具体而言，首先采用低成本的低精度梯度下降法得到一个合理的初始点，然后再利用高精度梯度下降法在少量迭代中实现快速收敛。所提出的方法不仅显著减少了计算时间，还保持了高精度。此外，我们还提供了严格的理论分析来证明该方法的收敛性。

致谢本研究得到了中国国家重点研发计划（2025yfa1016400）、国家自然科学基金（编号12371456）以及四川省科技计划（编号2024nsfsc0038）的支持。

周廷伟|赵希乐|车茂林|刘胜>