具有最优偏置学习的稳健广义二维主成分分析

《Neural Networks》：Robust generalized two-dimensional principal component analysis with optimal bias learning

　　**摘要**- 提出一种具有样本截断、稀疏正则化和最优偏差估计的鲁棒二维主成分分析框架。- 开发一种具有收敛性保证的高效交替优化算法。- 在噪声条件下实现具有竞争力的分类和重建性能。**引言**随着信息技术的快速发展，高维图像数据在众多领域变得越来越普遍，包括模式识别、计算机视觉、生物医学分析和智能监控等。因此，有效的表示学习和降维技术对于从复杂数据中提取信息特征至关重要。近年来，各种机器学习方法已被开发用于复杂数据建模与预测。高斯过程回归为非线性回归和不确定性感知预测提供了概率框架。通过将核函数与交叉验证及贝叶斯优化相结合，这类方法能够建模复杂关系，并为时间序列数据提供稳定的预测结果。除了概率回归模型之外，图模型技术也已被用于刻画多变量之间的结构依赖关系。向量误差修正模型与有向无环图的结合为识别多元系统中的方向性关系和动态交互提供了系统方法。这些方法为分析复杂依赖结构提供了可解释的框架。与此同时，基于神经网络的方法因其灵活的近似特性而展现出强大的非线性建模能力。非线性自回归神经网络能够捕捉复杂的时序依赖关系，并已应用于多种数据驱动的预测任务。这些研究表明，神经网络在从序列观测中学习非线性模式方面是有效的。基于GAN的学习和基于注意力的单应性估计也已被探索用于无监督图像拼接。近期的研究进一步将深度单应性估计与小目标检测整合到图像拼接框架中。此外，预测组合和复合预测策略也被开发用于整合多个候选模型的输出。通过利用互补的预测信息，这些策略能够提高预测准确性并减少对单一模型的依赖。因此，它们为结合不同的建模机制提供了灵活的框架。尽管这些先进的机器学习方法在复杂数据分析中取得了令人瞩目的性能，但其中许多通常需要复杂的模型结构、大规模训练数据或密集的计算程序。相比之下，线性子空间学习方法因其清晰的数学可解释性、计算高效性以及从高维数据中提取紧凑表示的有效性而仍然具有吸引力。主成分分析（PCA）是最具代表性的线性降维技术之一，已被广泛应用于特征提取和模式识别。通过将高维数据投影到低维子空间，PCA保留了方差最大的方向，并为原始数据提供了有效的表示。然而，传统PCA通常需要向量化输入样本，这破坏了图像数据的内在矩阵结构，并可能导致计算复杂度增加。为了克服这一局限性，二维主成分分析（2DPCA）被提出，以直接处理图像矩阵而无需向量化。与PCA不同，2DPCA构建图像协方差矩阵并在原始矩阵空间中学习投影方向，从而更好地保留空间信息并提高计算效率。然而，标准2DPCA模型基于平方Frobenius范数和总散度准则，使其对噪声和异常值敏感。为了提高2DPCA的鲁棒性，从不同角度开发了各种扩展方法。基于L1范数的2DPCA用L1范数取代传统L2准则，以减少异常样本的影响。F-2DPCA引入Frobenius范数准则以改善对大偏差的鲁棒性。其他研究进一步探索了广义优化准则和角度距离度量，以增强基于2DPCA的模型的表示能力。自适应加权策略也已被开发以改善鲁棒性和表示能力。近期，广义PCA框架因其能够同时考虑鲁棒表示和重建而受到越来越多的关注。Dai等人通过引入解耦投影和恢复矩阵、最优偏差学习和截断重加权策略，提出了RGPCA-OB，从而改善了向量形式数据对噪声和异常值的鲁棒性。然而，现有的RGPCA-OB和大多数鲁棒PCA方法都是为向量化样本设计的，无法充分利用图像数据的内在矩阵结构。因此，将鲁棒广义PCA从向量形式数据扩展到矩阵形式图像数据仍然是一个重要但具有挑战性的问题。主要挑战不仅在于避免向量化，还在于在矩阵约束下重新表述投影、恢复、偏差学习和样本加权机制。受此问题启发，我们提出了一种具有最优偏差学习和截断重加权的鲁棒广义二维主成分分析模型（RG2DPCA-OB）。该模型直接作用于矩阵形式的图像数据，并在统一框架中集成了鲁棒损失建模、解耦投影恢复学习、最优偏差估计和样本级重加权。鉴于上述挑战，本研究旨在开发一种鲁棒的二维子空间学习框架，以同时保留图像数据的矩阵结构、增强判别性表示并改善对噪声和异常值的重建鲁棒性。本文的主要贡献总结如下：- 我们构建了一个鲁棒的广义2DPCA框架，通过逐列投影和恢复直接处理矩阵值样本，而无需向量化。该框架集成了矩阵值偏差、鲁棒矩阵残差损失、样本选择和稀疏正则化，同时保留了原始的二维结构。- 我们推导了一种交替优化算法，利用逐样本加权协方差结构并避免显式构建大规模对角权重矩阵，从而降低了计算和内存成本。理论上建立了算法的单调递减性和收敛性。- 在多个图像数据集上的广泛实验证明了所提方法在干净和噪声条件下的分类和重建任务中的有效性。本文其余部分组织如下。第2节介绍相关工作并回顾现有的二维主成分分析方法。第3节详细介绍了所提出的鲁棒广义二维主成分分析模型及其建模思想。第4节介绍了所提模型的优化算法，并对其收敛性和计算复杂度提供了理论分析。第5节通过图像分类和图像重建实验验证了所提方法的有效性和优越性。第6节总结全文并讨论未来研究方向。**章节片段****鲁棒PCA与广义PCA**经典主成分分析对异常值敏感，因为其平方L2准则可能会赋予大偏差样本过大的影响。为了提高鲁棒性和表示能力，从稀疏表示、鲁棒损失设计、自适应中心化和样本选择等角度开发了各种PCA扩展方法。Zou等人从回归视角重新表述了PCA，并引入了稀疏载荷约束进行特征……**预备模型**在介绍所提出的RG2DPCA-OB模型之前，我们首先回顾与其公式化密切相关的两个基本模型，即RGPCA-OB和2DPCA。RGPCA-OB提供广义回归框架、最优偏差学习、稀疏正则化和截断重加权机制，而2DPCA提供直接处理二维图像数据的矩阵形式投影策略。RGPCA-OB从自包含的回归视角出发，……**优化算法**公式（8）中的问题是非凸且非光滑的。直接获得闭式解较为困难。因此，我们为二次?2,p型项构建二次上界。所得子问题使用迭代重加权最小二乘法（IRLS）求解。然后我们采用块坐标下降法交替更新Q、W、B和s。这产生了一种可处理的迭代优化过程。**实验**本节评估所提出模型在多个图像数据集上的分类和重建性能。我们进行参数敏感性分析以研究关键参数对模型性能的影响。我们还分析模型的收敛行为和计算效率，以验证其在实际应用中的可行性和优势。最后，进行消融研究以考察每个组件的贡献并验证……**结论**在本文中，我们提出了RG2DPCA-OB，一种保留矩阵结构并同时融入鲁棒损失、最优偏差学习、行稀疏正则化和截断样本重加权的鲁棒二维PCA框架。开发了一种交替优化算法，并理论上建立了目标函数值的单调递减性和收敛性。实验展示了具有竞争力的分类和重建性能，特别是在……**CRediT作者贡献声明****夏心宇：** 撰写——审稿与编辑、撰写——原稿、可视化、软件、方法论、形式分析、数据整理、概念化。**杨虎：** 撰写——审稿与编辑、监督、项目管理、方法论、资金获取、概念化。**利益冲突声明**作者声明他们没有已知的竞争财务利益或个人关系，这些利益或关系可能影响到本文所报道的工作。**致谢**本研究得到国家自然科学基金资助[项目编号：12371281]。夏心宇|杨虎