联合优化转置投影包络线性判别分析模式

《Neural Networks》：Joint Optimization Transposed Projection Envelope Linear Discriminant Analysis Mode

　　摘要线性判别分析是一种广泛应用的特征提取技术，它以费希尔判别准则为指导，将原始高维样本映射到具有更好可分性的低维子空间中。该方法的可解释性和易用性是其优势所在。然而，传统LDA是基于原始样本的粒度构建的，未能利用相似样本之间的相关性信息，从而限制了其性能。为解决这一局限，本文提出了转置投影包络线性判别分析。通过转置投影，原始样本被转换为包含相似样本间相关性信息的包络样本。在这些包络样本上应用费希尔判别准则来学习降维子空间，同时引入分布差异惩罚项以确保所学习的子空间仍适用于原始样本。通过联合优化这些目标，TPELDA利用相似样本间的相关性信息增强了映射到该子空间上的样本的判别特征。在多个数据集上的实验结果表明，TPELDA的性能优于同类方法，分类准确率平均提升了2.25%至13.19%。进一步的实验也证明了所提方法的有效性。

引言目前，在人工智能尤其是机器学习领域，高维数据的处理越来越常见（LU, WANG和CHEN，2025）。尽管高维数据通常包含更丰富的信息，但它们也会带来所谓的“维度灾难”，比如数据稀疏度增加以及更高的计算成本（CHEN, NIE和MA，2025）。此外，特征间的相关性、冗余特征以及噪声的存在往往会导致机器学习模型性能下降（YANG, CHE和LEUNG，2024）。降维技术可用于解决这些问题。作为数据预处理中的关键步骤，降维仍然是研究中的重要挑战和热点课题（WANG, ZHU和XU，2023）。通过将原始数据从高维空间映射到低维子空间，降维不仅能消除特征相关性、冗余特征和噪声，还能显著降低计算复杂度并提升模型的泛化能力（LU, LONG和WEN，2022）。根据是否利用样本类别信息，降维方法可分为无监督和有监督两类。无监督降维方法在建模过程中不使用样本类别信息。常见的无监督方法包括能够保留主要信息的主成分分析（PCA）（GREENACRE, GROENEN和HASTIE，2022），以及考虑数据流形结构的等距映射（ISOMAP）（TENENBAUM, SILVA和LANGFORD，2000）。相比之下，有监督降维方法在建模时会纳入类别信息。线性判别分析作为一种基于费希尔判别准则的有监督降维方法，能够提高不同类样本在子空间中的可分性以及同类样本的紧凑性，从而提升降维结果的质量。由于其成熟性、可解释性和计算效率，LDA已被广泛应用于图像识别、语音识别和故障检测等领域，至今仍是学术界和工业界研究最深入、最具代表性的降维方法之一（NIE, WANG和WANG，2021）。然而，传统的LDA存在一定的局限性。因此，近年来许多学者从不同角度对LDA进行了改进研究。尽管这些研究取得了一定的积极成果，但大多数研究都是基于原始样本进行建模，没有考虑相似样本间的相关性信息，这限制了所构建降维矩阵的性能。有研究表明，挖掘相似样本间的相关性信息用于构建机器学习模型可以有效提升模型性能（XIA, SHI和WANG，2025；MA, CHENG和CHEN，2025）。因此，本文通过考虑相似样本间的相关性信息对LDA进行了改进，提出了转置投影包络线性判别分析。具体而言，首先设计一种转置投影，将原始样本转换为既包含样本自身内在信息又包含相似样本间相关性信息的包络样本。然后，基于这些包络样本应用费希尔判别准则来学习降维子空间。在寻找该子空间时考虑了相似样本间的相关性信息，这能有效提升子空间的质量。同时，考虑到测试样本难以转换为包络样本，因此引入了分布差异损失项，要求子空间中包络样本的分布与原始样本在子空间中的分布尽可能相似，以确保降维矩阵适用于原始样本。这样一来，当直接将原始样本映射到子空间时，它们也能融入包络样本中所含的部分信息，从而受益于其分布特性。此外，还在子空间内进行转置投影，以确保映射后包络样本的质量，从而从另一个角度优化子空间的搜索过程。转置投影损失、费希尔判别损失和分布差异损失的联合优化构成了所提方法的损失函数。本文的主要贡献和创新点如下：(1)提出了一种转置投影，用于挖掘相似样本间的相关性信息，从而使每个生成的包络样本同时具备内在信息和相关性信息。(2)与直接在原始样本上进行建模的现有LDA方法不同，所提方法基于包络样本进行建模，实现了能够考虑相关性信息的降维。(3)为确保降维子空间对原始样本的适应性，引入了分布差异损失项。(4)所提方法对上述三个组成部分进行联合优化。通过根据相似样本间的相关性信息来寻找最优子空间，所提方法在多个基准数据集上的表现优于现有的典型LDA方法，证明了其有效性。本文的其余结构如下：第2节介绍相关研究；第3节阐述本研究的研究动机；第4节描述所提出的方法；第5节分析实验结果；第6节对全文进行总结。

相关研究近年来，许多学者从不同角度开发了多种改进版的原始LDA，以克服其局限性。以下是一些具有代表性的研究。

研究动机现有的LDA方法是基于原始样本进行建模的，仅考虑每个样本的内在信息。这些方法的核心概念如图1所示，其中Z表示用于将样本映射到子空间以提高其可分性的降维矩阵。然而，诸如数据-信息-知识模型（DIK模型）（FRICKé，2018）之类的相关研究表明，仅考虑样本的内在信息是不够的。

符号说明设X=[x1,x2,…,xn]∈Rd×n表示所有样本的集合，其中d是每个样本的特征数，n是样本总数。设C1,…,Cq表示所有特定类别的样本集合。|Ci|表示第i类样本的数量。设?(?):Rd→Rm为一个非线性映射函数，它将输入数据从原始空间Rd映射到高维特征空间Rm，从而使得线性方法能够在该空间中应用（SCH?LKOPF, SMOLA和MüLLER，1998）。

实验环境为了验证所提方法的有效性，共使用了11个数据集，其中包括8个结构化数据集和3个图像数据集。这些数据集的样本数量介于208到2600之间，特征数量介于20到10304之间，类别数量介于2到26之间，涵盖了多个领域，常被用于评估机器学习方法的性能。表1提供了每个数据集的详细信息，包括数据集名称、样本数量等。

结论LDA是一种有效的降维方法，至今仍是研究热点。但它存在忽略相似样本间相关性信息的缺点。为了解决这个问题，本文提出了转置投影包络线性判别分析，该方法在费希尔准则指导下进行降维，同时考虑了相似样本间的相关性信息。该方法将原始样本转换为包络样本……