多视图集成深度广义特征值随机向量函数链接

《Computers and Electrical Engineering》：Multiview Ensemble Deep Generalized Eigenvalue Random Vector Functional Link

　　

## 摘要

随机向量函数链接（RVFL）框架通过采用具有随机性的单层前馈结构，提供了一种简单而有效的分类解决方案。RVFL 的集成与深度变体利用多层结构以提升性能，而基于广义特征值的深度 RVFL（edGERVFL）则求解与深度 RVFL 架构相结合的广义特征值问题。多视图学习方法利用多个数据视图来增强泛化能力，但现有的基于深度 RVFL 的模型并未引入多视图信息。我们提出了多视图集成深度广义特征值 RVFL（MV-edGERVFL）及其变体——多视图核 edGERVFL、多视图改进 edGERVFL 和多视图核改进 edGERVFL，以便在复杂和非线性数据的多个视图下实现改进的分类性能。所提出的模型将多视图特征提取与基于广义特征值分类的深度随机网络集成相结合。为了增强适用性，我们引入了三个专用变体，在保留闭式解的同时解决了非线性问题和奇异问题。多视图核 edGERVFL 通过核映射处理非线性可分性。多视图改进 edGERVFL 减少了相关或稀疏数据中的奇异问题。多视图核改进 edGERVFL 同时处理非线性和奇异问题以提高稳定性。在 UCI 和 AWA 数据集上的实验表明，当存在多个数据视图时，该方法能带来持续的性能提升。

## 引言

人工神经网络（ANNs）在机器学习任务中有着广泛应用，例如图像识别、语音理解和疾病诊断[1]，[2]。它们在大型数据集中寻找模式，有助于计算机视觉和自然语言处理等领域[3]，[4]。然而，使用反向传播训练人工神经网络速度慢，且需要大量数据才能在不过拟合的情况下良好工作[5]，[6]。它们还可能陷入局部极小值，从而限制其性能[7]，[8]。早期的解决方案包括更改学习率或添加动量，但这些方案并未完全解决问题[9]。当数据集较小或包含混合数据类型（如医疗或股票预测中的数字和文本）时，人工神经网络表现不佳[10]，[11]。这些问题限制了人工神经网络在实际有限或多样数据任务中的实用性。

随机神经网络因其简单的训练过程和具有竞争力的泛化性能而受到广泛关注。该系列中的代表性架构包括随机向量函数链接（RVFL）网络[12]、极限学习机（ELM）[13]、宽学习系统（BLS）[14]以及池化计算（RC）框架[15]。在这些架构中，RVFL 以其直接从输入到输出的连接和随机生成的隐藏层参数而著称。这些特性使其能够以良好的近似能力进行高效学习，并适用于分类、回归和预测任务[16]，[17]。它以较低的算力需求近似任意函数的能力，使其在医疗分析、故障检测和股票预测等应用中广受欢迎[18]，[19]，[20]。随着时间的推移，RVFL 得到了多方面的改进。例如，正交多项式扩展 RVFL [21] 使用多项式来改善性能和提高回归及预测精度。稀疏预训练 RVFL [22] 在无监督条件下学习更好的参数，而 RVFL+ [23] 则利用额外信息来改善训练。基于核的指数扩展 RVFL [24] 很好地处理了非线性系统，判别流形 [20] 通过使用软标签和图改善了故障诊断。进一步的进展包括 RVFL 的深度和集成深度版本（dRVFL 和 edRVFL）[25]，它们增加了更多的层并组合输出来发现复杂模式和使用集成技术。深度增量 RVFL（DI-RVFL）[26] 逐步学习，卷积 RVFL [27] 使用卷积和随机核进行视觉跟踪。基于模糊推理系统的 edRVFL [28] 使用模糊方法改进了特征提取，基于核岭回归的 RVFL [29] 用于脑年龄分类，领域增量 RVFL 避免了边缘设备中的遗忘问题[30]。然而，上述 RVFL 模型只能处理单一视图的数据，这限制了它们在混合特征类型数据集上的应用[31]。与此同时，一些研究还探索了 RVFL 在有限或分布式环境中的学习。基于归纳学习的半监督 RVFL 模型允许网络即使在只有部分数据被标注时也能学习，同时保持训练过程简单和凸性[32]。分布式 RVFL 模型允许多个节点在没有中心服务器的情况下协同训练，这对于大数据集或数据无法直接共享的情况非常有用[33]。类似的策略也在其他随机神经网络架构中得到探索，其中集成回声状态网络（ESNs）使用共享读出层训练多个池化层，读出层通过闭式解学习[34]。ESNs 和 RVFL 都已被应用于短期电力负荷预测，因为它们具有高效的训练特性。虽然最近的研究证明了 ESNs 的有效性[34]，但 RVFL 也展现了具有竞争力的预测性能和快速训练[35]。

另一种方法，如支持向量机（SVMs）[36]，旨在通过寻找最佳直线或平面来分隔类别以进行分类[37]。广义特征值近邻 SVMs（GEPSVMs）[38] 通过求解广义特征值问题使用非平行平面，这有助于处理困难数据集[39]，而改进的 GEPSVMs（IGEPSVMs）[40] 则使用标准特征值问题。模糊多类 GEPSVMs 为多类问题添加了模糊信息[41]，加权多类 GEPSVMs [42] 和局部化 GEPSVMs 处理更多类别或局部模式[43]。在宽学习系统中也通过结构化特征生成探索了增强局部特征表示的类似思想[44]。孪生 SVMs（TSVMs）[45] 求解更小的问题以获得非平行平面，其中多视图拉普拉斯 TSVMs [46] 和多视图 TSVMs 使用多个数据视图[47]。多视图 GEPSVMs（MvGSVMs）[45] 通过共正则化项对齐多个视图，将复杂问题转化为特征值问题。基于波形损失函数的多视图 SVM 使用特殊损失函数处理噪声数据[48]。这些模型在许多分类任务中表现良好，但由于它们没有使用深度层来提取丰富特征，也没有使用集成方法来提高泛化能力，因此存在局限性。

在许多实际应用中，数据通常包含多种类型的信息，因此单一特征集可能无法完整描述数据。因此，研究人员使用多个特征集来表示此类数据，通常称为多视图数据[49]。每个视图捕捉同一对象的不同特征并提供有用的互补信息。例如，图像可以用颜色特征或纹理特征表示，而人可以通过面部特征或指纹识别。类似地，网页可以通过其内容中的单词以及指向它的超链接中的单词来描述。这些不同视图为同一数据实例提供了多样化的信息。仅使用单一视图可能不足以完成许多学习任务。结合多个视图可以利用更完整的信息来提高机器学习模型的性能[50]。多视图学习（MVL）专注于从这样的多种表示中学习，并随着多模态数据的可用性而受到越来越多的关注[51]。MVL 方法通常基于两个重要思想：共识和互补性[48]。共识原则旨在使不同视图的输出相互一致，而互补性原则则关注结合多个视图中的多样化信息以更好地表示数据。

最近基于 RVFL 的 MVL 模型前景良好，但缺乏处理复杂分类所需的深度层和高效优化。单一视图模型如 RVFL 和 SVMs 在处理多模态数据时表现不佳，其中诸如数值医学结果和文本笔记等特征提供了不同信息。将这些多个视图混合成一个视图会丢失它们的独特细节，负面影响准确性[31]。浅层 RVFL 模型在处理小数据集或多样化数据集中的复杂模式时表现不佳，而深度 ANN 则需要大量数据和训练时间[1]。深度回声状态网络也已被研究以通过分层随机层改善表示学习，最近的研究提出了正则化策略以缓解深度架构中的冗余[52]。最近的 RVFL 变体如 edRVFL 通常只使用单一数据视图，而多视图变体如 MvRVFL [53] 则缺乏深度。然而，随着网络深度的增加，模型复杂度也随之增加。为降低复杂度并满足性能需求，提出了隐式基于集成的深度 RVFL [25]。像 MvGSVMs [31] 和 GRVFL-MV [54] 这样的 MVL 模型则缺少深度层或特征值优化。

在本文中，我们提出了多视图集成深度广义特征值随机向量函数链接（Mv-edGERVFL）网络，该网络利用 edGERVFL 的深度集成框架和广义特征值优化来发挥多视图学习的作用。所提出的 Mv-edGERVFL 通过深度网络处理每个视图，并通过广义特征值优化问题高效地优化权重，使其在处理复杂和多视图数据集时具有高效性。此外，我们提出了多视图核集成深度广义特征值随机向量函数链接（MV-KedGERVFL）以处理实际数据中的非线性。为克服奇异问题（即格拉姆矩阵可能秩亏），我们提出了改进版本，称为 MV-IedGERVFL 和 MV-KIedGERVFL，以解决此限制并使模型更加稳定和可靠。所提出的新型框架协同集成了以下进展：

- MV-edGERVFL 利用多个视图的互补信息。
- 闭式解实现高效训练和改进的泛化能力。
- 核 MV-edGERVFL 通过基于核的映射处理非线性模式。
- 改进的 MV-edGERVFL 缓解了相关或稀疏数据集中的奇异问题。
- 在 UCI 和 AwA 上的实验证明了变体的具有竞争力的泛化能力。

在后续章节中，第2节提供了相关文献的简明概述，第3节介绍了所提出的框架和计算复杂度分析。第4节展示了实验细节、结果和统计分析，第5节给出了结论。

## 章节片段

### 预备知识

本节讨论所提出模型的文献基础。我们首先介绍全文使用的符号，然后对多视图学习、edRVFL、GEPSVM、edGERVFL 和 MV-GEPSVM 进行文献综述。

### 所提出的多视图框架及其变体

本节展示了所提出的多视图框架及其变体，即多视图集成深度广义特征值 RVFL（MV-edGERVFL）、多视图核 edGERVFL（MV-KedGERVFL）、多视图改进 edGERVFL（MV-IedGERVFL）和多视图核改进 edGERVFL（MV-KIedGERVFL）。为了更好地理解所提变体之间的差异，我们简要概述它们的作用。MV-edGERVFL 作为基础多视图深度模型，通过集成多视图来改进性能。

### 实验分析

本节展示了用于评估所提出的 MV-edGERVFL 和 MV-IedGERVFL 模型有效性的实验设置，并与基线方法进行对比。还描述了用于评估的数据集。此外，报告了在 UCI 和 AwA 数据集上的结果，包括统计分析和消融研究。

### 结论

我们介绍了一个多视图分类框架——多视图集成深度广义特征值随机向量函数链接（MV-edGERVFL），以及其核和改进变体：MV-KedGERVFL、MV-IedGERVFL 和 MV-KIedGERVFL。所提出的方法使用深度 RVFL 网络和集成策略来增强多个视图下的特征学习和泛化能力。广义特征值公式与共正则化相结合，有效整合了多视图信息。

### 利益冲突声明

作者声明，他们没有任何已知的竞争性经济利益或个人关系可能会影响本文所报告的工作。

### 致谢

作者感谢印度理工学院罗帕尔分校提供计算资源和研究设施以完成本工作。

Yogesh Kumar | Anshika Bhatia | Chavda Jayrajsinh | Mudasir Ganaie
印度理工学院罗帕尔分校计算机科学与工程系，旁遮普邦，140001，印度