多视图学习泛化性能的信息论分析：从共识与互补信息解耦视角

本文通过信息论框架系统分析多视图学习（Multi-view Learning）的泛化性能，提出基于互信息（Mutual Information）和Rényi熵的泛化边界，揭示多视图信息瓶颈（Multi-view IB）正则化对提升表示学习与泛化能力的关键作用，为多模态数据建模提供理论支撑。

　　

Highlights

• •
  我们从重建和分类任务的角度为多视图学习建立了信息论边界。这些边界通过整合视图共有（view-common）和视图独有（view-unique）成分的信息度量表明，在信息论框架下提取跨视图的共识与互补信息有助于实现最大化解耦表示（maximally disentangled representations）并降低泛化误差。此外，推导的边界证明了多视图信息瓶颈（Multi-view IB）正则化在平衡表示能力与泛化性能方面的有效性。
• •
  我们通过在一维变量上采用留一法（leave-one-out, LOO）和超样本（supersample）设置开发了新颖的数据依赖边界，提升了计算可行性。此外，通过利用加权泛化误差，我们推导了多视图学习的快速率边界（fast-rate bound），在插值机制（interpolating regime）下将收敛速率从1/√(nm)提升至1/(nm)，其中n和m分别表示多视图样本数和视图数。
• •
  在合成数据集和真实数据集上的实证结果表明显著的真实泛化误差与推导边界高度吻合，证明我们的结果能有效捕捉多视图学习的泛化特性。

Multi-view Learning with Information Theory

近年来，基于信息论的多视图学习方法在多个应用领域取得显著成功。例如，Oord等人提出基于互信息（Mutual Information）的通用无监督学习方法，从高维多视图数据中学习紧凑表示；Wang等人提出深度多视图信息瓶颈框架，通过解耦不同视图间的复杂依赖关系提取跨视图共有和独有成分。

Notations

我们使用大写字母表示随机变量，小写字母表示其具体实现。H(X)表示随机变量X的香农熵（Shannon’s entropy），H_α(X)表示X的Rényi α阶熵（Rényi’s α-order entropy），其中极限情况α→1退化为香农熵。给定随机变量Y时X的条件熵记为H(X|Y)。I(X;Y)表示随机变量X和Y间的互信息（Mutual Information），该指标也可用于衡量变量间的信息依赖程度。

Information-theoretic Bounds for Multi-view Learning

本节通过典型子集（typical subset）的新颖运用，为多视图重建和分类任务中的表示函数建立高概率泛化边界。我们分别分析了确定性（deterministic）和随机性（stochastic）表示函数的泛化特性，从而为多种多视图学习范式提供理论保证。此外，我们在留一法（LOO）和超样本设置下开发了数据依赖边界，显著提升了边界的紧致性和计算可行性。

Numerical Results

本节通过下游分类任务实证比较推导的泛化边界与单视图学习上界。评估包含三部分：首先在合成高斯数据集上对比多视图与单视图学习的上界；其次评估边界中涉及的信息度量与真实泛化误差的相关性；最后在真实医学多模态数据集上验证理论结果的实际适用性。

Conclusion

本文为多视图学习提供了全面的信息论泛化分析。我们为多视图重建和分类任务建立了高概率泛化边界，证明在信息论框架下捕获多视图的共识与互补信息有助于形成紧凑且最大化解耦的表示。推导的边界进一步揭示了多视图信息瓶颈正则化对平衡表示能力与泛化性能的作用机制。