用于多视图不确定性量化的正交分解高斯过程

《Information Fusion》：Orthogonally Decomposed Gaussian Processes for Multiview Uncertainty Quantification

　　•我们提出了MVODGP，这是一种基于和核RKHS正交分解的新型多视图高斯过程模型。•MVODGP能够从多个视角中获取充分信息与互补信息，从而提升决策融合的效果。•我们开发了一种高效的变分推断算法，用于实现可扩展的不确定性量化。•在合成数据集和真实世界数据集上的大量实验表明了MVODGP的有效性。

引言
在许多现实场景中，数据通常以多种视角或形式存在。多视图学习[1]、[2]旨在利用多个特征集的充分性、一致性和互补性来构建精确的模型。从多个视角进行信息融合已成为众多任务中的基本范式，这些任务包括聚类[3]、序列建模[4]、[5]、表示学习[6]、特征选择[7]，以及文档分类[11]、视频字幕生成[12]、多媒体检索[13]等应用[8]、[9]、[10]。尽管现代多视图模型具有出色的预测性能，但它们仍会犯错，尤其是在医疗诊断或传感器监控等复杂开放环境中，那里收集到的数据往往存在噪声、损坏或属于分布外数据（OOD）。可信多视图学习旨在在数据条件不理想的情况下提供可靠的预测和不确定性量化。这一领域由“可信多视图分类”（TMC）[14]这篇开创性论文开启，后续最著名的研究工作[14]、[15]、[16]、[17]、[18]、[19]、[20]都是基于证据深度学习（EDL）[21]和德普斯特-沙弗证据理论[22]展开的。然而，近期的理论和实证研究表明，EDL方法所量化的不确定性并不可靠[23]，且对OOD数据缺乏鲁棒性[24]。

高斯过程模型[25]是一种流行的非参数贝叶斯模型。由于它们能够对函数分布进行建模，并基于贝叶斯定理提供不确定性估计，因此被广泛应用于各种机器学习任务中。由于高斯过程模型的预测方差会随着测试点远离训练数据而增加，它们具备天然的OOD检测能力，因而成为可信多视图学习的理想工具。不过，现有的大多数多视图高斯过程模型[26]、[27]、[28]都假设不同视角的先验过程是独立的，仅在后验推断时通过启发式规则整合各视角的信息。这种后验融合方式不仅缺乏贝叶斯定理的严格理论保障，也无法有效捕捉潜在空间中的共享信息和互补信息。当单个视角的信息不够充分时，就会导致不确定性估计不准确。

高斯过程模型的两个显著局限性在于其O(N3)的计算复杂度，以及对于非高斯似然情况下后验推断的难度。稀疏变分高斯过程（SVGP）[29]、[30]将变分推断[31]与基于诱导点的稀疏近似[32]相结合，形成了一种计算高效且灵活的框架，可应用于任意类型的似然函数。有研究指出[33]，SVGP的先验可以分解为两个独立的高斯过程，这与复制核希尔伯特空间（RKHS）的正交分解类似[34]。这一分解被用来设计高效的诱导点结构[35]、[36]，建立更严格的变分界限[34]，并改善模型的方差估计能力[37]。

在本文中，我们提出了一种用于可信多视图学习的新类型高斯过程模型，名为多视图正交分解高斯过程（MVODGP）。我们证明了和核RKHS可以被分解为多个正交子空间，这使我们能够将多视图数据中的私有信息和共享信息明确分离到不同的组成部分中。通过将这种RKHS正交分解转化为高斯过程先验的独立分解，MVODGP能够更好地控制数据生成过程，实现更有原理性的潜在信息融合。我们还开发了一种稀疏变分推断算法，用于高效地近似后验分布。我们在合成数据集和真实世界数据集上进行了实验，验证了MVODGP的性能，结果表明它在预测精度和不确定性量化方面都具有出色表现。

本文的其余部分结构如下：第2节介绍RKHS、高斯过程以及稀疏变分推断的相关基础知识；第3节详细介绍我们提出的MVODGP模型，包括其建模方式、推断过程和预测方法；第4节回顾多视图学习和不确定性量化领域的相关文献；第5节讨论该模型的计算复杂度、在多类分类中的应用情况，并与其他现有模型进行比较；第6节展示在合成数据集和真实世界数据集上的实验结果；最后，第7节对全文进行总结。表1列出了本文中常用的符号说明。

章节概要
基础知识
本节首先简要介绍RKHS和高斯过程模型，随后阐述稀疏变分推断以及基于狄利克雷的多类分类方法。

多视图正交分解高斯过程
本节介绍多视图正交分解高斯过程（MVODGP）。目前我们主要关注二分类问题，多类分类的扩展内容将在第5节讨论。我们首先从一个和核基线模型入手，说明如何利用RKHS的正交分解来处理多视图数据。接着，我们将这个RKHS模型转化为高斯过程的分解形式，从而得到一个多视图高斯过程模型。最后，我们展示如何……

相关研究
用于多视图学习的RKHS：关于多视图核方法已有大量研究[43]、[44]、[45]。其中有两项重要研究探讨了将RKHS作为多视图学习的假设空间。Sindhwani等人[46]考虑了函数空间H1+H2，并定义了一种受多视图半监督学习中协同正则化项启发的数据依赖型范数。他们证明，在这种范数下H1+H2构成一个RKHS，并利用其结构开展了相关研究。

计算复杂度
SVGP的计算复杂度主要取决于协方差矩阵和核矩阵的乔列斯基分解，以及需要为每个数据点多次求解形如KZZ?1v的线性方程组，其中v为某个向量。具体而言，对于一组M个诱导点和一批大小为B的数据，计算乔列斯基因子需要O(M3)的时间，而为这批数据求解相应线性方程组则需要O(BM2)的时间。因此，SVGP每次迭代的整体复杂度为O(M3+BEx)。

实验
本节我们在一个合成数据集和十个真实世界数据集上对MVODGP进行了实验评估。评估指标和比较方法如下所述。所有方法均使用Gpytorch[58]实现，并在RTX 3090 Ti GPU上采用Adam[59]算法进行训练。在所有实验中，我们对所有视角使用相同数量的诱导点（对于MVSGP、MVSumGP和MVODGP而言，则是私人诱导点）。这样处理有助于我们将不同视角的模型视为独立的实体。

结论
本文提出了多视图正交分解高斯过程（MVODGP），旨在解决可信多视图学习中的难题，即如何在数据存在噪声、损坏或属于分布外情况时仍能提供可靠的预测和不确定性量化。通过将和核RKHS分解为相互正交的子空间，我们的方法能够在多视图数据上构建联合高斯过程先验，从而将私有信息和共享信息明确分离到不同的组成部分中。

作者贡献声明
毛良：撰写——审阅与编辑、撰写——初稿、可视化、软件工具、方法论、正式分析、数据整理、概念构思。孙世良：撰写——审阅与编辑、指导监督、资源协调、项目管理、资金筹措。

利益冲突声明
作者声明存在以下可能被视为利益冲突的财务利益/个人关系：孙世良表示获得了华东师范大学多维信息处理重点实验室的财政支持，同时还获得了中华人民共和国财政部和教育部的资助。孙世良还担任某一领域的编辑职务。其他作者为毛良和孙世良。