iFCTN：一种用于张量补全的块内全连接张量网络分解方法

《Pattern Recognition》：iFCTN: An intra-block fully-connected tensor network decomposition for tensor completion

　　

•iFCTN 通过基于矩阵的 Khatri-Rao 参数化避免了张量展开。
•与标准 FCTN 相比，无展开设计将计算时间减少了 80%。
•该方法将高维张量内存成本降低了高达 38%。
•近端交替最小化求解器保证了全局收敛性。
•我们的 iFCTN 在视觉数据恢复中将峰值信噪比（PSNR）提升了高达 3.0 分贝。

简介
随着科学技术的快速发展，高维数据集（例如多光谱图像 [1]、[2]、[3]、[4] 和交通流量测量 [5]、[6]、[7]）在实践中变得普遍，并且天然地以张量形式表示。张量将矩阵的概念扩展到更高阶，其元素由多个（连续或离散）变量索引。张量分解是建模和处理此类高阶数据的有力工具，其应用无处不在，涵盖机器学习 [8]、[9]、[10]、[11]、信号处理 [12]、[13] 以及更多领域 [14]、[15]、[16]。概念上类似于矩阵分解，张量分解是将多维数组拆解为较小因子的艺术 [17]。在过去几十年中，建立了几种著名的模型，包括 Tucker 分解 [18]、[19]、[20]、并联因子分析（CP）分解 [21]、[22]、张量奇异值分解（t-SVD）[23]、[24] 和张量网络（TN）分解 [25]、[26]、[27]。

TN 分解将 N 阶张量分解为一组低阶构成张量（称为核心），其中张量缩并刻画了这些因子之间的代数相互作用。这种范式天生具有卓越的数据压缩能力和高计算效率 [28]、[29]、[30]。在现有框架中，张量列车（TT）[31] 和张量环（TR）[32] 分解分别以链式拓扑和环形拓扑为特征。作为基础里程碑，TT 分解将 N 阶张量表示为一组核心上的多重线性乘积序列。具体而言，终端核心受限于矩阵，而中间 N-2 个核心是三阶张量（如图 1 所示）。随后，TR 分解通过用三阶核心替换边界矩阵并施加循环缩并，推广了 TT 结构，从而建立了闭环拓扑。此外，近期研究 [33] 通过揭示张量网络秩（例如 TR 秩）与平衡展开诱导张量核范数之间的内在联系，连接了张量网络和传统秩最小化。

2021 年提出的全连接张量网络（FCTN）分解 [34] 代表了相对于 TT 和 TR 的重大进展。与仅建立相邻因子连接的先行者不同，FCTN 将 N 阶张量分解为 N 个 N 阶张量，在每一对因子之间建立连接。这种全连接拓扑赋予 FCTN 表征张量任意两个模式间内在相关性的卓越能力，使其对于张量补全（TC）[35]、[36]、[37]、[38] 非常有效。除数据恢复外，其强大的表征能力最近已扩展到监督机器学习范式，正如支持全连接张量网络机及其相关安全筛选规则用于高效分类的开发所证实的那样 [39]。

最近，也提出了几种 FCTN 变体，包括 SVDinsFCTN [40]、N-FCTN [41]、revealFCTN [42]、T-FCTN [43] 和 NL-FCTN [44]。这些变体在不同方面改进了 FCTN 建模。基于 SVD 和秩揭示的 FCTN 模型主要关注秩或拓扑确定，而非局部、嵌套、基于变换的、随机的和深度 FCTN 变体引入了额外的建模先验、代数结构、优化策略或表征深度。

尽管 FCTN 提供了全连接性，但其核心张量的高维特性本质上带来了难以承受的计算复杂性和显著的参数冗余 [45]。具体而言，更新 FCTN 因子通常需要重构辅助子网络并反复（展/收）开中间张量。具体而言，对于 N 阶张量，更新任何单个因子都需要从剩余的 N-1 个因子形成一个专用子网络。因此，N 路张量每次迭代需要 N 次这样的构造，并且在每次更新后必须重建这些子网络。这种重构计算成本高且内存开销大，减慢了实际训练速度——特别是对于计算机视觉中常见的大规模、高阶张量。在保持全连接成对交互模式的同时解决这一计算负担是研究的关键领域 [46]。

为了解决这些挑战，我们从块内视角重新审视 FCTN，并通过 Khatri-Rao（KR）积参数化每个张量因子。本文的主要贡献总结如下：
•我们首先提出了一个新颖的块内 FCTN（iFCTN）框架，这是 FCTN 的一种无（展/收）开变体，仅依赖于矩阵因子，并且对子网络有明确的表达式。与现有的 FCTN 变体 [35]、[38]、[40]、[42]、[44]、[45]、[47]、[48] 相比，iFCTN 是一种新的分解方法，它在保持 FCTN 全连接拓扑的同时修改了核心内表示。此外，许多现有的 FCTN 变体可以与 iFCTN 结合使用。
•然后我们将 iFCTN 应用于 TC 问题（iFCTN-TC），直接利用基于 cherry 结构的参数化进行可扩展优化（第 4 节）。我们的复杂度分析表明，iFCTN 有效地降低了存储和计算复杂度。此外，我们为提出的近端交替最小化（PAM）求解器建立了收敛保证。
•我们在五个基准数据集上的八种随机缺失和纤维缺失场景下评估了 iFCTN-TC 的性能。它始终能以较低的计算成本取得优越的准确性，从而验证了其有效性和鲁棒性（第 5 节）。

章节摘要
符号说明
在本文中，我们将向量、矩阵和张量分别表示为 x, X, X。给定一个 N 阶张量 X∈R^{I1×I2×?×IN}，表示为 X(i1, i2, …, iN)，其中 in∈[In], n∈[N]，且 [N] 代表集合 {1, 2, …, N}。对于索引 (i1, i2, …, iN)，符号 i1i2?iN := 1 + Σ_{j=1}^N (ij - 1) ∏_{n=1}^{j-1} In 对于张量展开矩阵是有用的。其 mode-n 展开为 X(n)∈R^{In × Π_{k=1, k≠n}^N Ik}。这里，n∈[N] 且 [N]={1, …, N}。此外，给定两个矩阵 A∈R^{m×r} 和 B∈R^{n×r}，它们的 Khatri-Rao 积为 C=A⊙B∈R^{mn×r}。

iFCTN 分解
我们提出的 iFCTN 源自 FCTN，如图 1(d) 所示。关键改变在于将每个张量因子参数化为一系列矩阵，从而实现 FCTN 的基于矩阵的实现。这种重构使得所有更新都可以通过矩阵计算完成，而无需张量缩并。此外，通过利用 KR 积，我们建立了几项结构结果，这些结果是所提出的 iFCTN 的基础。我们从以下定义开始，该定义阐述了基于 iFCTN 分解的 TC 方法。

下文将采用 iFCTN 分解方法来解决 TC 问题，旨在验证其合理性和优越性。

实验
进行了广泛的数值实验以评估所提出的 iFCTN-TC 方法在不同随机缺失（RM）和纤维缺失（FM）水平下的有效性。我们将 iFCTN 与十个最先进的基准方法进行了比较：HaLRTC [50]、TNN [51]、TMac [52]、TFTC [53]、SNN [50]、Tucker [19]、TT [31]、FCTN [34]、FCTN-SGD [45] 和 FCTN-SVD [48]。算法参数设置如下：近端参数 ρ=0.1，最大迭代次数 tmax=1000，停止准则 ?=1×10^-5。

结论
我们提出了块内 FCTN（iFCTN），这是全连接张量网络分解的一种无（展/收）开重构形式。通过将张量因子分解为基于 KR 积的矩阵因子，iFCTN 消除了标准 FCTN 所负担的昂贵辅助子网络重构。当应用于 TC 问题时，所提出的 PAM 算法表现出可证明的收敛性，以及有利的重构精度和鲁棒性能。在公开数据上的广泛实验（表明了其有效性）。

CRediT 作者贡献声明
Ziyi Gan：写作 – 原稿、可视化。Chunfeng Cui：监督、资源、方法论。

生成式 AI 和 AI 辅助技术在使用过程中的声明
作者声明在稿件准备过程的任何阶段均未使用生成式 AI 或 AI 辅助技术。

利益冲突声明
作者声明他们没有已知的竞争财务利益或个人关系可能影响本文所报告的工作。

致谢
本研究由中国国家自然科学基金（编号 12471282 和 12131004）支持。作者感谢匿名审稿人的深刻评论和建设性建议，这些意见改进了本手稿的质量。

Ziyi Gan|Chunfeng Cui