通过加速坐标下降方法在稀疏学习中进行的前k个特征选择

《IEEE Transactions on Pattern Analysis and Machine Intelligence》：Top-k Feature Selection in Sparse Learning via Accelerated Coordinate Descent Method

稀疏学习中的top-k特征选择面临?2,0范数约束难题，现有方法通过松弛约束近似求解但导致原始模型失真。本研究统一监督与半监督场景下的top-k特征选择目标为非凸比率-trace问题，提出加速坐标下降法高效求解，在常规九类数据集和ImageNet大数据集上验证了方法在特征选择精度和时间效率上的优势。

　　

摘要：

在稀疏学习中，顶级特征选择（top-k feature selection）是一个基本问题。由于严格的?2-0范数（?2-0 norm）约束，这个问题很难解决。现有文献大多放宽了这一约束，试图近似选择矩阵，但这样会导致原始模型的退化，从而错过真正的解决方案。本研究致力于解决稀疏学习中的原始顶级特征选择模型。从通用性的角度出发，我们探讨了稀疏学习中的监督学习和半监督学习下的顶级特征选择问题。通过分解特征选择矩阵，我们发现两个不同的目标可以统一为一个一般的比率-迹问题（ratio-trace problem），这是一个非凸优化问题。为此，我们提出了加速坐标下降法（accelerated coordinate descent method）来高效解决这个非凸问题，从而以较低的时间成本获得顶级特征索引的局部最优解。为了验证所提出的算法，我们设计了简单的实验来展示所选特征的优势。同时，在九个标准数据集和大规模的ImageNet数据集上的实验结果全面证明了我们的方法相较于现有的监督学习和半监督学习算法具有优越性。