随着数据量和维度的爆炸性增长,以及数据复杂性的增加,导致了冗余和不相关特征的泛滥[1]、[2]、[3]。冗余信息降低了数据质量,使得提取潜在模式变得更加复杂[4]、[5]。在机器学习中,这种冗余性阻碍了后续的数据挖掘过程[6]、[7]、[8],而在深度学习中,它会对模型训练产生不利影响,并经常导致过拟合[9]、[10]、[11]。
特征选择是一种重要的数据预处理技术,由于其提高数据质量和增强模型泛化的有效性而受到了广泛的研究关注。特征选择已成功应用于多个领域,包括数据挖掘[6]、[12]、模式识别[3]、[14]、异常检测[15]、[16]以及生物信息学中的基因表达分析[17]、[18]。
粗糙集(RS)[19]理论为不确定性提供了一种数学表示方法。在特征选择任务中,它可以通过与粒度计算和熵理论相结合来进一步量化决策的不确定性。然而,由于RS理论依赖于基于特征的样本空间的清晰划分,因此它不太适合异构数据特征选择[20]、[21]、[22]、[23]。
为了解决这一限制,胡等人[24]引入了邻域粗糙集(NRS)模型。NRS模型通过计算样本间的距离来构建邻域类,使其特别适合异构数据环境中的特征选择[25]、[26]。基于邻域的方法已被广泛采用,以扩展粗糙集理论,并在概念逼近和特征选择方面取得了成功[7]、[22]、[27]。
同时,受到香农信息熵理论[28]的启发,研究人员将其广泛应用于特征选择任务[26]、[29]、[30]。胡等人[27]提出了NRS内的邻域信息熵,提供了一种衡量不确定性的指标。王等人[12]提出了邻域自信息,考虑了下近似和上近似。王等人[30]提出了邻域区分指数,从关系角度评估特征在样本空间上的区分能力。张等人[26]引入了邻域组合熵,通过测量邻域类之间的区分关系来量化特征信息。安德烈亚等人[14]开发了一种与互信息相关的邻域熵度量,结合了最近邻基数和位置敏感哈希算法。孙等人[31]提出了模糊邻域悲观多粒度熵,将熵理论与邻域和模糊概念相结合。邹等人[32]提出了多样性熵,用于特征选择任务,同时考虑了等价类的数量和信息熵理论。
大多数现有方法都源自邻域信息熵的扩展,因此面临一个共同挑战。具体来说,邻域信息熵依赖于条件熵来衡量决策不确定性。然而,随着特征子集的增长,邻域条件熵表现出非单调性。戴等人[29]指出这种非单调性阻碍了特征选择过程中停止标准的合理确定,从而影响了特征子集选择的有效性。
在特征选择过程中,评估每个特征对减少决策不确定性的贡献及其在整个特征集中的相对重要性至关重要。互信息(MI)[14]、[18]、[27]作为一种量化特征与决策之间相关性的指标被广泛使用。然而,许多现有算法仅根据MI的大小来评估特征,忽略了特征在特征空间中的上下文重要性以及与决策无关的信息损失。这种疏忽可能导致次优的特征子集,从而降低下游学习模型的性能[4]。孙等人[33]提出了一种基于模糊邻域的特征选择方法,该方法结合了标签增强,有效处理非线性样本关系和缺失的标签信息。周等人[34]提出了一种在线无监督异构组流式特征选择方法(UHGSFS),该方法使用信息系数和基于密度的聚类动态选择代表性特征,而不依赖于标签信息。
为了克服仅依赖互信息值的局限性,研究人员提出了几种先进技术。例如,戴等人[17]引入了信息增益比,将MI转换为比率形式。王等人[8]通过考虑特征的最大独立分类信息来解决这个问题。此外,Witten等人[35]提出了对称不确定性(SU),通过检查特征和决策信息中的MI比例来衡量特征重要性。曾等人[5]进一步扩展了SU,以纳入信息交互的比例,从而更全面地评估特征重要性。戴等人[18]在基因表达数据分析中也取得了有希望的结果,利用归一化的最大独立分类信息比例来评估特征重要性。
受到NRS在处理异构数据方面的优势以及现有异构特征信息度量局限性的启发,本文旨在基于NRS模型构建一种专门用于涉及异构数据的特征选择的信息熵度量。此外,为了解决当前特征选择算法在评估特征重要性方面的不足,我们提出了一种有效的特征重要性评估指标。
本文的主要贡献可以总结如下:
- •
邻域粗糙集(NRS)模型在涉及异构数据的特征选择任务中表现出色;然而,基于NRS的现有邻域信息熵度量存在几个局限性。为了解决这些局限性,本文提出了一种新的宏观邻域熵(MRE),其中定义了条件宏观邻域熵、宏观邻域互信息和联合宏观邻域熵等形式,以量化特征之间的信息关系。值得注意的是,条件宏观邻域熵在特征选择任务中表现出单调性。
- •
在提出的宏观邻域熵的基础上,我们指出了仅依赖互信息的现有特征选择算法的局限性。为了克服这些问题,我们引入了一种新的特征重要性评估指标——成对联合对称不确定性(PJSU)。PJSU同时考虑了候选特征与选定特征子集之间的交互以及它们对决策属性的联合相关性。基于此指标,进一步开发了一种有效的特征选择算法。
- •
在十五个基准数据集上的实验表明,所提出的PJSU算法在选择最短特征子集的同时,始终实现了最佳的平均分类性能。这些结果验证了所提出的宏观邻域熵度量和基于PJSU的特征选择策略在处理异构数据方面的有效性。