用于监督特征选择的稀疏线性判别分析

《Neurocomputing》：Sparse linear discriminant analysis for supervised feature selection

　　

摘要
基于稀疏学习的特征选择方法在机器学习领域引起了广泛关注。在本研究中，我们引入了一种基于线性判别分析（LDA）稀疏性的新型特征选择方法，采用迹差线性判别分析来有效选择特征。使用 l2,0 范数约束投影矩阵，相比 l2,1 范数促进了更高水平的稀疏性。然而，在 l2,0 范数约束下求解特征选择问题面临着巨大的挑战。我们通过将投影矩阵分解为两个部分来解决这些问题：一个离散选择矩阵和一个权重矩阵。这种分解将复杂的优化问题转化为以离散选择矩阵为中心的更易处理的问题。我们采用坐标下降法来求解 l2,0 范数约束优化问题。本文提出的方法论扩展到了与 l2,0 范数约束相关的常规优化问题。广泛的实验评估证实了我们方法的鲁棒且一致的性能。与其他方法相比，我们的方法表现出优越的性能，表明其在为分类任务选择更具判别性的特征方面具有有效性。

引言
在当前大数据时代背景下，高维度数据带来的挑战是多方面的，包括计算需求的增加、维度灾难以及学习算法的过拟合。为了解决这些问题，使用降维技术至关重要，从而能够有效地排除噪声和冗余特征 [1], [2]。降维主要有两种类型：特征选择和特征提取。然而，特征提取剥离了特征的原始物理意义，从而限制了其在某些领域的应用，如基因 [3], [4] 和蛋白质分析 [5], [6]，以及文本分类 [7]。

特征选择在增强机器学习和数据挖掘的有效性方面具有巨大影响 [8], [9]。通过从包含丰富判别信息的高维数据中选择特征，该方法减少了噪声、冗余和不相关性 [10]。这一过程不仅简化了特征维度，还缓解了与高维数据相关的计算放缓和性能下降。识别出的判别性特征对于特征选择方法中分类性能的有效性至关重要。因此，特征选择已被广泛应用于各个领域，包括质谱分析 [11]、图像处理 [12]、文本挖掘 [13], [14] 和 DNA 微阵列研究 [15]。

根据与后续学习算法的交互方式，特征选择方法被分类，它们可分为过滤方法 [16], [17]、包装方法 [18], [19] 和嵌入方法 [20], [21]。历史上，过滤方法主导了早期特征选择的格局。这些方法独立于学习算法运行 [22]，通常用于数据预处理以消除不相关或噪声特征。该类别中的一个开创性算法是 Relief 算法 [23]。相比之下，包装方法将特征选择过程与学习算法集成在一起。虽然包装方法在处理数据方面比过滤方法慢，但它们擅长选择能够提高分类准确性的紧凑特征子集。过滤方法和包装方法都具有各自独特的优势和局限性。这些方法的融合可以发挥各自的优势，从而提高数据处理的效率。嵌入方法代表了过滤方法和包装方法的综合。这些方法直接将特征选择融入模型训练中 [24]。嵌入方法缓解了过滤方法的冗余问题和包装方法的计算消耗问题。该类别中的著名算法包括 ID3 [25]、C4.5 [26] 和 CART [27]。这些算法在训练过程中集成选定的特征。鉴于嵌入方法的固有优势，如减少冗余和计算开销，同时保持有效的特征选择，本文专注于深入探索这些方法。

最近，颗粒球计算（GBC）作为一种处理噪声和不确定数据的有效范式出现，通过构建自适应颗粒表示来实现。与直接操作单个样本的传统特征选择方法不同，GBC 利用局部数据分布结构，并通过信息颗粒化减少噪声和异常值的影响。几项研究调查了基于颗粒球的特征选择，其中通过保留生成的颗粒球内的一致性或结构信息来识别判别性特征。例如，已经开发了基于粗糙颗粒球的特征选择方法，以捕获局部样本关系并去除冗余特征 [28]。此外，最近的研究进一步将颗粒球计算扩展到动态特征选择场景 [29]，展示了其鲁棒性和知识表示能力。然而，大多数基于颗粒球的方法主要从样本表示的角度提高鲁棒性。

与基于颗粒球的方法不同，稀疏特征选择方法旨在通过对学习到的投影矩阵施加稀疏性约束，识别出一个紧凑的判别性原始特征子集。将稀疏学习技术融入特征选择方法可以显著增强所选特征的判别能力。Xiu 等人 [30] 提出了一种双稀疏无监督特征选择（BSUFS）方法，将 l2,p 范数和 lq 范数集成到 PCA 框架中。技术上，l2,p 范数促进特征选择，lq 范数用于去除冗余特征的影响。稀疏性有效地促进了稀疏表示 [31] 并促进了鲁棒的特征选择 [32], [33]。早期嵌入特征选择使用稀疏学习，即经常添加稀疏正则项。以在特征选择中的有效性而闻名的 l0 范数正则化，呈现非凸挑战，使求解过程复杂化。相反，Lasso 方法中使用的 l1 范数提供了凸性质，简化了解题程序。然而，l0 范数的一个显著缺点是它通常产生近似解。在 Lasso 奠定基础的基础上，已经开发了几种变体以解决其局限性并增强其适用性，例如自适应 lasso [34]、组 lasso [35]、图 lasso [36] 等。

基于 Lasso 的特征选择方法主要为二分类任务定制，需要额外的策略如一对一或一对多来处理多类别挑战。相比之下，利用结构稀疏性的方法更擅长管理多类特征选择场景。l2,1 范数约束通常应用于特征选择模型以提高特征选择的有效性。使用 l2,1 范数的正则化已证明其具备在特征选择中产生满意结果的能力。He 等人 [37] 利用 l2,1 范数正则化相关熵实现鲁棒特征选择，产生了令人印象深刻的分类结果。此外，在无监督学习的背景下，Yang 等人 [38] 将判别分析与 l2,1 范数最小化集成以实现有效的特征选择。l2,1 范数的凸性质促进了其在优化问题中的实施，允许获得全局最优解。由于这些属性，l2,1 范数被广泛用于特征选择以引入结构稀疏性并消除不相关特征。在多类特征选择任务中，l2,1 范数约束使特征选择方法表现出卓越的性能。

与 l2,1 范数相比，l2,0 范数呈现非凸问题，使采用 l2,0 范数正则化的特征选择方法的优化过程具有挑战性，通常阻碍了全局最优解的实现。因此，l2,0 范数的应用受到一定限制。Cai 等人 [39] 提出了关于基于凸问题的特征选择方法是否优于基于非凸问题的特征选择方法的担忧。利用最小二乘回归模型中的 l2,0 范数等式约束，他们设计了一种 top-k 特征选择方法。从稀疏性角度来看，l2,0 范数被认为优于 l2,1 范数 [39]。为了管理与非凸问题相关的复杂性，研究人员通常在一定程度上放松 l2,0 范数约束。Nie 等人 [31] 在两种范数的正则化效果相似或近似等效的前提下，采用 l2,1 范数代替 l2,0 范数。然而，这一假设并不总是被实际应用所支持 [40]。此外，调整 l2,1 范数的正则化参数也面临其自身的挑战。对于不同的数据集，依赖 l2,1 范数的特征选择方法需要仔细的参数调整以确定最优值，这是一个不可忽视的显著缺点。而且，l2,1 范数正则化参数背后的含义并不明确，让用户在参数调整期间不确定要选择多少个特征。相反，l2,0 范数正则化参数有明确的定义，因为它直接对应于所选特征的数量，从而简化了参数调整。因此，迫切需要开发能够解决 l2,0 范数约束所提出问题的解决方案。Pang 等人 [32] 利用投影梯度下降优化算法来解决与 l2,0 范数相关的问题。在 [41] 中，采用了类似的策略来解决与 l2,0 范数基特征选择模型相关的挑战。

如前所述，基于 l2,0 范数约束的特征选择方法在特定应用中显示了满意的结果。然而，这些基于最小二乘回归模型的方法在有效提取判别信息方面存在局限性。

在本文中，我们引入了一种基于子空间稀疏性的特征选择方法。我们的工作在该领域做出了重大贡献，如下所示：
1. 与依赖 l2,1 范数约束的方法不同，我们的方法不包含传统正则化项。这种公式使用稀疏参数 k 直接控制所选特征的数量，与 l2,1 范数正则化的调整参数相比，提供了更大的可解释性。
2. 为了解决这个具有挑战性的优化问题，我们引入了一种矩阵分解策略，将离散的行稀疏约束与连续的正交优化解耦。这种分解可以扩展到其他需要纳入精确行稀疏的子空间学习模型。
3. 我们在六个不同的数据集上进行了实验，结果确认我们的特征选择方法优于比较方法。并且我们的算法可以快速达到收敛。此外，我们的方法在不同的数据场景下表现出稳定的特征选择性能。

章节摘要
相关工作
在 2.1 节中，我们解释了本文中使用的符号。在 2.2 节中，我们简要描述了传统的线性判别分析（LDA）。在 2.3 节中，我们回顾了几种代表性的特征选择方法，包括稀疏回归、因果发现和最近的基于 LDA 的稀疏方法，并分析了这些基于 LDA 的稀疏特征选择方法的局限性。在 2.4 节中，我们提出了我们方法的动机，该方法寻求直接强制精确 l2,0 范数

所提方法
第 3 节详细介绍了所提方法。第 3.1 节构建了精确 l2,0 范数约束下的目标函数。第 3.2 节通过将投影矩阵分解为 W=PV 将问题转化为有效的坐标下降过程。第 3.3 节通过形式化定理严格建立收敛性，第 3.4 节分析了算法的计算复杂度。

实验
为了确保全面评估，我们在六个数据集上将我们的方法与另外七种特征选择方法进行了比较。表 1 提供了我们研究中使用的六个数据集的详细概述。

结论
在本文中，我们引入了一种利用子空间稀疏约束的特征选择方法，特别是通过 l2,0 范数。我们提出的特征选择模型的特征是变换矩阵上的 l2,0 范数约束和正交约束，两者共同构成了求解模型的巨大挑战。为了解决这些挑战，我们将变换矩阵 W 分解为离散选择矩阵 P 和权重矩阵 V，从而简化了

CRediT 作者贡献声明
朱建勇：写作 – 审查与编辑，监督，软件，调查，资金获取，形式分析，数据整理。郑佳莹：写作 – 原稿，可视化，数据整理。贾凯俊：形式分析，数据整理。杨辉：监督，调查，数据整理。丁琼：监督，方法论，形式分析。聂飞平：软件，资源，项目管理，方法论，概念化。

利益冲突声明
作者声明，他们没有已知的竞争财务利益或个人关系，可能会影响本论文报告的工作。

致谢
本工作得到了国家自然科学基金（批准号 62363010）和江西双千计划（编号 SSQ2023018）的支持。

朱建勇于 2014 年获得中南大学博士学位。他是华东交通大学电气与自动化工程学院的副教授，位于中国南昌。他的主要研究兴趣包括数据分析、随机分布控制和预测控制。

朱建勇 | 郑佳莹 | 贾凯俊 | 杨辉 | 丁琼 | 聂飞平
华东交通大学电气与自动化工程学院，中国江西省南昌市 330013