结合伪标签学习和流形学习的top-k多标签特征选择方法（采用坐标下降算法）

《Neurocomputing》：Coordinate descent for top-k multi-label feature selection with pseudo-label learning and manifold learning

多标签特征选择方法CD-MPL通过融合流形学习、伪标签学习和坐标下降优化，有效解决高维特征空间中的几何结构保持与标签关联性建模难题。该方法构建特征图拉普拉斯矩阵实现流形结构表征，引入伪标签学习机制优化标签连续性，创新性地将非凸L2,0范数约束转化为连续矩阵与离散选择矩阵的联合优化问题，利用坐标下降方法高效求解。实验表明该方法在十大数据集上平均性能提升3.31%，且具备快速收敛和强可解释性优势。

　　多标签学习在处理复杂问题中扮演着越来越重要的角色，特别是在数据实例与多个标签相关联的场景下。随着数据的快速增长和信息科技的迅速发展，高维特征空间中的多标签学习面临诸多挑战。传统方法在高维特征空间中难以保持特征之间的几何结构，同时也无法充分挖掘标签之间的潜在关联。为了应对这些关键问题，本文提出了一种新的特征选择方法，称为基于坐标下降的多标签特征选择方法（CD-MPL），该方法结合了伪标签学习和流形学习技术，以提高模型性能和实用性。

在多标签学习中，特征选择是一个至关重要的环节，其核心在于识别出能够显著区分多个标签的特征子集。尤其是在图像识别、文本挖掘和生物信息学等数据密集型领域，数据通常与多个标签相关联，而传统的单标签学习技术在这种复杂背景下难以直接应用。近年来，特征选择技术在不同学习范式中取得了显著进展，如在无监督场景中，采用双线性自表示方法（BSUFSL）通过双线性形式整合样本和特征空间的信息；在半监督场景中，结合共享子空间和流形学习的方法也表现出良好的效果。这些方法在处理复杂情况时，能够有效选择与多个标签相关的特征。

然而，高维数据带来的维度灾难问题仍然是现实应用中需要解决的挑战。为了解决这一问题，特征选择技术被广泛应用于减少特征数量，提高模型的效率和性能。特征选择方法通常分为三类：过滤方法、包装方法和嵌入方法。过滤方法基于统计技术，通过预先评估特征与目标标签的相关性来选择特征子集，这类方法独立于特定的机器学习模型。包装方法则依赖于具体的机器学习模型，如支持向量机递归特征消除（SVM-RFE）和相关特征选择（CFS），通过评估不同特征子集的模型性能来选择最优特征。嵌入方法则通过将特征搜索与学习算法整合到优化问题中，实现分类性能和计算成本之间的良好平衡。因此，嵌入方法在数据挖掘和机器学习领域获得了广泛关注，本文的研究也将聚焦于这一方向。

在多标签学习中，传统的特征选择方法往往忽略了特征之间的复杂几何关系，从而限制了模型预测能力的进一步提升。为此，研究人员开始引入流形学习技术，以更好地捕捉特征之间的关系。例如，通过流形正则化和依赖最大化进行多标签特征选择（MRDM）的方法，能够将原始数据映射到与类别标签密切相关的低维流形空间中，同时保留原始数据的拓扑结构。而流形正则化判别特征选择（MDFS）方法进一步发展了这一思路，基于原始特征空间的局部结构，生成低维嵌入。尽管这些方法能够有效捕捉特征关系，但它们往往难以处理二元标签的离散性质。因此，近年来出现了将二元标签转化为松弛变量的多标签特征选择方法（LRMFS），如通过标签松弛进行多标签特征选择（LRMFS）的方法，虽然仍然依赖于传统的稀疏性约束，但通过线性映射函数将低维嵌入与原始特征联系起来，从而提高模型的可解释性。

在特征选择领域，稀疏学习技术因其能够有效限制系数矩阵中的非零元素数量而备受推崇。稀疏学习技术通过在系数矩阵上应用稀疏正则化策略，实现对特征的筛选。其中，?2,1范数正则化是用于选择共享特征的主要技术之一，它可以在候选特征集中全局选择一个可接受的特征子集。然而，由于?2,1范数的稀疏性高度依赖于参数，因此在实际应用中难以直观判断究竟选择了多少特征。这使得选择合适的参数值变得困难且耗时。

相比之下，?2,0范数约束方法能够直接指定要保留的特征数量，从而简化模型训练和优化过程。这种方法在多标签学习任务中具有独特的优势，因为它能够精准捕捉具有显著区分能力的核心特征，从而提升模型的预测性能和可解释性。通过使用?2,0范数，我们可以直接定义特征选择的数量，而不必依赖复杂的参数调整过程。因此，本文决定在目标函数中使用?2,0范数约束来调节稀疏性，从而实现对特征的高效选择。

本文提出的新算法CD-MPL基于最小二乘模型，融合了流形学习和伪标签学习技术。该算法通过深入理解特征之间的内在几何关系，并利用标签之间的相关性，从而提升模型的预测性能。此外，CD-MPL方法创造性地构建了一个参数无关的优化框架，以解决?2,0范数带来的非凸优化问题。这种参数无关的优化框架使得我们能够直接定义特征选择的数量，从而避免繁琐的参数调整过程。通过使用这一方法，我们希望提高多标签分类的准确性，简化模型结构，并增强模型的可解释性。

本文的主要贡献包括以下几点：首先，为了研究特征的几何结构并生成精确的回归系数矩阵，我们构建了一个结合流形学习和最小二乘回归的联合框架，用于解决多标签特征选择问题。其次，我们引入了伪标签的概念，以增强模型对标签间关系的利用。通过最小化弗罗贝尼乌斯范数并整合伪标签与实际标签之间的流形结构，我们确保伪标签包含更多有价值的信息。第三，为了解决?2,0范数带来的非凸优化问题，我们提出了一种新的多标签特征选择方法CD-MPL，该方法基于坐标下降技术构建了一个参数无关的优化框架。第四，我们对CD-MPL方法进行了全面的测试，并在十个多标签数据集上获得了实验结果，表明我们的方法在多个关键评估指标上显著优于现有方法，平均性能提升了3.31%。此外，CD-MPL方法在减少特征子集后仍能保持稳定性能，并且在10次迭代内快速收敛，充分验证了其在多标签分类任务中的高效性和有效性。

本文的其余部分结构如下：第二部分将讨论相关工作，第三部分将详细介绍CD-MPL算法的原理，第四部分将提出CD-MPL的优化算法，第五部分将展示CD-MPL的实验结果与分析，第六部分将对本文进行总结和讨论。通过这样的结构安排，我们希望系统地介绍CD-MPL方法的创新点及其在多标签学习中的应用价值。

在多标签学习中，流形学习和伪标签学习技术的结合为解决特征选择问题提供了新的思路。流形学习通过保留特征的局部几何结构，能够更好地捕捉特征之间的关系，而伪标签学习则通过将二元标签转化为连续表示，以增强模型对标签相关性的利用。CD-MPL方法正是在这一基础上进行创新，通过引入伪标签学习机制，将离散的二元标签转化为连续表示，从而更准确地建模复杂的标签相关性。同时，通过构造特征图拉普拉斯矩阵，我们能够建立特征流形结构的数学表示，从而有效保留特征空间的局部几何性质。

为了克服?2,0范数带来的非凸优化问题，CD-MPL方法创造性地将原始问题转化为连续矩阵和离散选择矩阵的联合优化问题。这种方法避免了传统方法中繁琐的参数调整过程，使得我们能够直接定义要保留的特征数量，从而简化模型训练和优化过程。通过使用坐标下降（CD）方法来高效求解选择矩阵，CD-MPL方法不仅解决了非凸性问题，还提升了模型的性能、可解释性和实用性。在实验中，我们发现CD-MPL方法在减少特征子集后仍能保持稳定性能，并且在10次迭代内快速收敛，这充分验证了其在多标签分类任务中的高效性和有效性。

综上所述，CD-MPL方法通过融合流形学习和伪标签学习技术，为多标签学习中的特征选择问题提供了一个全新的解决方案。该方法不仅能够有效保留特征之间的几何结构，还能更好地建模标签之间的复杂相关性。通过引入伪标签学习机制，CD-MPL方法将离散的二元标签转化为连续表示，从而提升模型的预测性能和可解释性。此外，通过构造特征图拉普拉斯矩阵，CD-MPL方法能够建立特征流形结构的数学表示，从而更准确地捕捉特征之间的关系。在解决非凸优化问题方面，CD-MPL方法创造性地构建了一个参数无关的优化框架，使得我们能够直接定义要保留的特征数量，而不必依赖复杂的参数调整过程。通过使用坐标下降方法来求解选择矩阵，CD-MPL方法不仅克服了非凸性问题，还提升了模型的性能、可解释性和实用性。实验结果表明，CD-MPL方法在多个关键评估指标上显著优于现有方法，平均性能提升了3.31%。同时，CD-MPL方法在减少特征子集后仍能保持稳定性能，并且在10次迭代内快速收敛，这充分验证了其在多标签分类任务中的高效性和有效性。