桥接互信息与神经网络：一种兼具可解释性的张量视角

《Neurocomputing》：Bridging mutual information and neural networks: A tensor perspective with interpretability

　　

摘要尽管互信息（MI）推动了神经网络的突破，但其原理仍不清楚，且传统 MI 在处理结构化张量数据时由于向量化导致空间信息丢失。为了解决这一根本局限性，我们提出了张量互信息（TMI），一种针对高阶张量的新相似度度量。TMI 通过局部子张量块捕获多维分布，并使用可测函数将其压缩为一维，从而在保留空间结构的同时实现直接 MI 计算。我们建立了 TMI 的关键数学性质，并将其扩展到条件和多张量场景。理论上，TMI 为深度学习中的 MI 范式的成功提供了可解释的视角。实际上，我们将 TMI 集成到 K-medoids 算法中，并在 MNIST、CIFAR-10、医学图像和高光谱图像数据集上进行了二分类实验。结果表明，基于皮尔逊相关或最大化的 TMI 变体在 F1 分数和最大准确率上持续优于传统的 MI、欧氏距离、曼哈顿距离和最先进的算法，在复杂高维数据上表现出卓越的稳健性和泛化能力。TMI 为分析多维数据中的依赖结构提供了新的理论工具和实用解决方案。代码可在 https://github.com/KexinXuLab/TMI 获得。

引言近年来，互信息（MI）已在广泛的深度学习任务中得到广泛采用，特别是在深度强化学习和表征学习方面 [1], [2]。神经网络与 MI 原理的深度融合已成功部署在多种实际应用中，取得了显著进展。这些成就涵盖了情感识别 [3]、语言建模 [4]、聚类和分类 [5], [6]、欺诈检测 [7]、点云处理 [8]、对抗学习 [9]、图像分割 [10] 等。然而，支撑该范式卓越效能的明确理论基础仍然难以捉摸，需要在基础层面进行进一步探索。

在文献 [11] 中，作为一种历史悠久的相似度度量，互信息源于香农熵，具有理想的特性。它量化随机变量之间的统计依赖关系，能够测量超越传统线性测量范围 [12] 的复杂非线性关系。与辨别单调关系的秩相关系数或仅限于线性依赖的皮尔逊相关系数不同，MI 完全捕获了所有形式的关联 [13]。将 MI 纳入分类算法可以有效地最小化类间的统计依赖关系，这是专注于最小化总方差的 K-means 和模糊 C 均值等传统方法 [14] 难以实现的。此外，在特征选择中，MI 经常与其他技术协同以提炼显著特征，促进卓越性能 [15], [16], [17], [18]。

除了上述监督学习任务 [1], [2], [3], [4], [5], [6], [7], [8], [9], [10] 外，MI 在无监督学习领域也引起了极大兴趣 [19], [20], [21], [22], [23]。在无监督分类的背景下，Wang 等人 [19] 提出了一种基于跨视图互信息解耦（DMID-UIC）的深度生成分类方法，并将其应用于图像模式识别，在跨视图图像分类中展示了显著的优势和有效性。Do 等人 [20] 通过在不同视图间最大化 MI 在深度学习框架内进一步增强了分类性能，取得了良好结果。Ahmadi 等人 [21] 提出了高斯混合信息最大化，利用 MI 最大化进行节点嵌入，显著增强了分类性能。最后，Kachouie 等人 [22] 研究了加权 MI 核分类算法，探索了其潜力和影响。

此外，图像和视频的指数级增长为计算机视觉和机器学习领域的研究人员带来了严峻挑战 [24], [25]。无论学习范式是监督式还是无监督式，相似度度量在这些算法中都起着至关重要的作用 [26], [27], [28]。因此，识别适合高维张量数据的相似度度量至关重要 [29]。尽管传统的欧氏距离、曼哈顿距离和余弦相似度在处理低维数据时表现出色，但在面对当前的高维张量数据时，它们往往难以捕捉复杂的内部空间信息而表现不佳。因此，如何提取和利用张量数据的 MI 是一个值得研究的问题。本文专注于高阶张量内在的 MI，为神经网络与 MI 范式的整合提供了理论阐述，并阐明了它们的互补优势。张量互信息（TMI）应运而生。TMI 仅假设张量数据遵循多维分布，利用可测函数将多维分布映射为一维分布，然后使用这个映射的一维分布进行最终的 MI 计算。这个过程简洁明了。

我们的主要贡献如下。
•一种新颖的张量相似度度量。我们提出了 TMI，一种专门为高阶张量设计的相似度度量。与依赖于向量化或严格分布假设的传统方法不同，TMI 在张量数据遵循多维分布的一般前提下运行。通过提取局部子张量块，它保留了内在的空间结构，能够对数据相互关系进行更忠实和全面的表征。
•MI 的严格理论推广。我们将 TMI 建立为传统 MI 向高阶数据的自然且重要的扩展。通过严格证明，我们展示了 TMI 保留了其前身的所有理想特性，包括对称性、半正定性和有界性，同时也纳入了空间上下文。这为分析多维系统中的复杂依赖关系提供了坚实的理论基础。
•神经网络和 MI 范式的可解释性。我们揭示了 MI 和神经网络之间的基本联系。通过将神经网络表征为连续函数逼近器，我们展示了它们与 MI 范式的集成在功能上等价于 TMI。与深度学习模型的不透明特性不同，TMI 通过明确的可测函数构建，提供了对其内部运作的透明且可解释的视角。
•跨多个领域的实验验证。我们将 TMI 集成到 K-medoids 框架中，并在五个图像数据集上评估了其性能：MNIST、CIFAR-10、ODIR-5 K、印第安松和一个私有眼底图像数据集（TMUEH）。广泛的实验表明，TMI 变体（P-TMI 和 M-TMI）持续优于传统相似度度量，包括传统 MI、欧氏距离和曼哈顿距离，以及几种最先进的算法，特别是在细粒度分类和医学图像分析等具有挑战性的任务中。

节选片段
符号表示和预备知识
基本定义和引理构成了 TMI 及其应用的基础。TMI 的定义依赖于传统熵和 MI 的基础，恰当地展示了它相对于传统 MI 的进步和增强。引入定义 1、引理 2 作为 TMI 半正定性的证明。
定义 1
张量的独立性。
对于任意两个张量 和，假设它们由多个随机变量组成，即每个张量被视为...的分布
张量互信息
Russakoff 等人 [31] 在他们的工作中首创了区域 MI 的概念。他们的方法将每张图像框定为包含多维点的分布，每个点封装一个像素及其周围邻域。通过将图像内的 邻域展开为向量，他们假设这些向量遵循多维高斯分布。因此，这个 -维高斯分布的熵是利用协方差矩阵 推导出来的，

TMI 增强的 K-medoids 分类算法
在 3.1 节中，神经网络和 MI 范式对应于 TMI 的监督学习应用。大量研究 [1], [2], [3], [4], [5], [6], [7], [8], [9], [10] 实验证明了其有效性，促使利用 TMI 进行监督学习实验的探索成为有价值的工作。我们将 TMI 应用于图像语义分割领域进行实验。我们将 TMI 集成到三个基于 CNN 和 Transformer 的架构中，包括 DeepLabv3, PSPNet，

数据集
MNIST 数据集 [39] 是美国国家标准技术研究院收集的全面手写数字图像集合。它包含 60,000 个样本的大型训练集和 10,000 个样本的测试集，均取自均匀分布。该数据集主要包含 0 到 9 的手写数字图像，分为十个不同的类别。每张图像是尺寸为 像素的灰度表示，本质上是一个单通道图像。

讨论
本研究通过五项二分类任务对提出的 TMI 方法进行了系统和多层次评估，涵盖手写数字（MNIST）、自然图像（CIFAR-10）、医学眼底图像（ODIR-5 K 和 TMUEH）和高光谱图像（印第安松）。在所有 38 项独立实验中，TMI 及其变体（P-TMI, M-TMI）持续优于竞争方法，展现出跨越数据领域和任务难度的稳健性能。

结论
在这项工作中，我们介绍了 TMI，一种专门为高阶张量数据设计的新颖相似度度量。TMI 解决了传统 MI 的一个根本局限性，即其对向量化的依赖，这会破坏张量的内在空间结构。通过提取局部子张量块并通过可测函数将其映射为一维变量，TMI 在保持计算可处理性的同时保留了空间相关性。

理论贡献。我们将 TMI 建立为一种

CRediT 作者贡献声明
刘建伟：写作 – 初稿，可视化，验证，软件，方法论，调查，数据整理，概念化。许珂欣：写作 – 审阅与编辑，监督，资源，项目管理，调查。陆良夫：写作 – 审阅与编辑，资源，方法论，资金获取，概念化。

利益冲突声明
作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作。

致谢
作者向匿名审稿人和尊敬的编辑表示诚挚的谢意，感谢他们富有洞察力的建议和无价的评论，这极大地促进了本文质量的提升。这项工作得到了国家重点研发计划（2023YFF1204200）和国家自然科学基金（62476197）的支持。作者感谢刘伟博士（天津市视网膜功能与疾病重点实验室，

刘建伟于 2018 年获得青岛科技大学数学与应用数学学士学位。他目前是天津大学数学学院的博士研究生。他的研究兴趣包括生物信息学、图像处理和模式识别。

刘建伟 | 许珂欣 | 陆良夫
中国天津市天津大学数学学院，300354