《IEEE Signal Processing Letters》：Understanding the Rank of Tensor Networks via an Intuitive Example-Driven Approach [Lecture Notes]
编辑推荐：
张量网络（Tensor Network，TN）分解凭借其提供紧凑低秩表示的能力，已成为大数据分析中不可或缺的工具，从而缓解了高阶数据处理中固有的“维度灾难”问题。TN分解成功的关键在于TN秩这一概念，它决定了TN分解的效率和表达能力。然而，与矩阵秩不同，TN秩
张量网络（Tensor Network，TN）分解凭借其提供紧凑低秩表示的能力，已成为大数据分析中不可或缺的工具，从而缓解了高阶数据处理中固有的“维度灾难”问题。TN分解成功的关键在于TN秩这一概念，它决定了TN分解的效率和表达能力。然而，与矩阵秩不同，TN秩往往缺乏普遍意义和直观解释，其性质随TN结构的不同而显著变化。因此，TN秩常被视为经验调优的超参数，而非从领域知识中推断的关键设计参数。本“讲义笔记”专栏旨在通过真实案例和直观可视化，揭示TN秩这一基础却常被误解的概念。首先，研究通过实例说明领域知识如何指导广泛使用的模型（如典型多项式（CP）分解和Tucker分解）中TN秩的选择。对于更复杂的TN结构，采用一种自解释的图形化方法，该方法可推广到任意阶张量。这一视角自然地揭示了TN秩与张量展开（矩阵）对应秩之间的关系，从而避免了繁琐的多指标张量代数，同时促进了领域信息指导下的TN设计。希望本“讲义笔记”专栏能使读者对TN秩的概念形成清晰统一的理解，并具备必要的物理洞察力和直觉，以支持张量方法在实际应用和教育场景中的选择、可解释性及部署。
论文解读文章
一、研究背景与问题
随着数据生成在体量和多样性上的快速增长，传统基于线性代数的“扁平视图”矩阵方法已难以满足更高阶、大规模和多样化数据的分析需求。张量（Tensor）作为多维数组，提供了天然适配高阶数据的代数框架。然而，高阶张量以其原始格式存储时，其存储复杂度随张量维度（模）数量呈指数增长，这一现象被称为“维度灾难”（curse of dimensionality）。张量网络（Tensor Network，TN）分解通过将原始张量表示为一组经由张量收缩（tensor contraction）连接的小规模因子，有效缓解了这一问题。TN方法在机器学习、信号处理、计算机视觉和量子物理等领域已取得显著成功，广泛使用的TN结构包括CP分解、Tucker分解和张量列（Tensor-Train，TT）分解。
TN秩是支撑任何TN结构的关键属性，与TN图中的边连通性相关。在矩阵情形下，秩有明确定义，并直接关联到行空间或列空间的维度等基本线性代数性质。相比之下，TN秩在不同TN结构之间缺乏一致或“普适”的解释，导致实践者只能将其视为经验选择的超参数。此外，确定高阶张量的最优秩是NP难问题，在实际中通常计算上难以处理。针对特定TN格式推导秩相关性质通常还涉及多线性代数的先进概念，这对缺乏张量分解专业训练的大数据分析实践者构成了障碍。因此，适用于张量压缩等应用的TN结构选择和设计往往成为试错过程，而非由领域知识和多线性秩理论指导的原则性框架。
二、研究内容与意义
本“讲义笔记”专栏旨在通过直观的实例驱动方法，为一般知识水平的读者揭开TN秩概念的神秘面纱。研究通过以下三种途径实现这一目标：第一，利用CP分解的秩性质促进CP因子的可解释性和唯一性，以时间-频率表示（Time-Frequency Representation，TFR）的基本范式中的严格频率-通道分离为例加以说明；第二，通过领域知识的视角，展示CP和Tucker分解中秩的变化如何影响高阶TN表示的表达能力，以红绿蓝（RGB）彩色图像为例进行直观说明；第三，采用图解程序将张量展开（矩阵）的秩性质与TN秩联系起来，无需借助繁琐的多线性代数，便于自定义TN结构的设计，适用于任意阶张量，可直接在TN图上操作，并以RGB彩色视频压缩为例进行演示。
该研究的重要意义在于：不仅有助于促进TN秩的知情选择（而非依赖启发式调优），还能在教育层面揭开TN秩的神秘面纱，同时赋予实践者更强的直觉和设计自由度。
三、主要技术方法
研究采用的主要技术方法包括：CP分解（Canonical Polyadic Decomposition），将高阶张量分解为一组秩-1张量因子的加权和；Tucker分解，通过核心张量与各模因子矩阵的模乘（mode-n product）表示原张量；Kruskal唯一性条件（Kruskal uniqueness condition），通过因子矩阵的Kruskal秩（即任意k列线性无关的最大列数k）建立CP分解唯一性的充分条件；数据增强（data augmentation）技术，通过扩展张量的时间维度以提高因子矩阵的Kruskal秩，从而满足唯一性条件；以及基于交替最小二乘（Alternating Least Squares，ALS）算法的CP分解求解方法。
四、研究结果
CP分解的可解释性——通过TFR示例阐明。 研究构建了一个三阶TFR张量，对三个分别包含20、40和41 Hz单一主导正弦频率的信号通道应用短时傅里叶变换。对秩-3的CP分解采用ALS算法求解后发现，朴素使用CP分解会导致各CP频率分量中出现频率重叠（例如三个频率因子均包含20 Hz频率），通道分量中也存在混合通道贡献，且每次运行因ALS优化过程的随机性产生不同的CP分量集合，从而阻碍了CP因子的可解释性。
通过数据增强强制CP分解唯一性。 研究从领域知识驱动的角度出发，通过扩展原始张量的时间维度来提高期望因子矩阵的Kruskal秩，从而满足Kruskal唯一性条件，获得干净且简约的频率-通道分离。在理想化TFR中，每个数据通道仅包含单一频率分量，频谱域离散化为三个频率仓。通过将时间维度从3扩展到5，使所有因子矩阵达到满Kruskal秩，从而满足唯一性条件，最终实现各因子中仅包含单一主导频率的完美频率分离。
CP与Tucker分解中秩对表达能力的影响——以RGB图像为例。 研究通过RGB彩色图像的直观示例，展示了领域知识如何指导CP和Tucker分解中秩的选择。不同的秩设置直接影响高阶TN表示的表达能力，合理的秩选择能够以更紧凑的形式捕获图像的主要结构信息。
图解程序连接张量展开秩与TN秩——以RGB视频压缩为例。 研究采用自解释的图形化方法，直接在TN图上进行操作，将张量展开（矩阵）的秩性质与TN秩联系起来。该方法适用于任意阶张量，避免了繁琐的多指标张量代数，并通过RGB彩色视频压缩示例加以验证，展示了如何基于领域知识设计自定义TN结构。
五、讨论与结论
讨论部分。 研究指出，CP分解是Tucker分解在核心张量为超对角（super-diagonal）时的特例。尽管在某些特定情形下存在多项式时间的精确CP分解算法，但一般而言，确定精确CP分解和寻找近似CP分解均为NP难问题。对于含噪张量，精确CP秩通常非常高且难以确定，但数据科学应用中的大多数张量近似低秩，暗示潜在结构。在实践中，启发式方法通常在多次初始化后能成功产生良好近似。此外，研究强调了TN秩在TN分解与传统矩阵方法（如主成分分析，PCA）中的角色差异：PCA中主成分按序提取，第一成分不因提取成分数量变化而改变；而张量分解的因子通常联合计算，将CP分解的秩从R改为R+1通常会改变先前计算的所有秩-R的CP因子。因此，在缺乏领域知识的情况下，TN秩通常通过最佳猜测、计算约束或试错确定，这凸显了理解TN秩以充分利用TN方法力量的重要性。
结论部分。 研究通过直观的实例驱动方法，成功揭示了TN秩这一基础却常被误解的概念。利用CP分解的秩性质促进了CP因子的可解释性和唯一性；通过领域知识视角展示了CP和Tucker分解中秩变化对高阶TN表示表达能力的影响；采用图解程序将张量展开的秩性质与TN秩联系起来，适用于任意阶张量。研究所引入的透明性和易于解释性不仅有助于促进TN秩的知情选择，还能在教育层面揭开TN秩的神秘面纱，同时赋予实践者更大的直觉和设计自由度。
