基于宏观邻域熵的成对联合对称不确定性方法在异构特征选择中的应用

《Pattern Recognition》:Pairwise Joint Symmetric Uncertainty Based on Macro-neighborhood Entropy for Heterogeneous Feature Selection

【字体: 大 中 小 】 时间:2026年01月07日 来源:Pattern Recognition 7.6

编辑推荐:

  特征选择在处理高维异构数据时面临冗余特征和非单调熵测量的挑战。本文提出宏观邻域熵(MRE)框架和配对联合对称不确定性(PJSU)算法,通过改进的熵测度和联合特征评估机制有效处理异构特征间的交互冗余。实验表明,PJSU在15个基准数据集上以Naive Bayes和CART分类器分别达到84.61%和83.00%的准确率,较原始数据提升14.38%和4.89%,同时将维度从5390.8降至5.67-6.27。

  
朱志琳|戴建华
中南大学计算机科学与工程学院,长沙,410083,中国

摘要

高维异构数据通常包含冗余和不相关的特征,这阻碍了模式识别和数据挖掘。特征选择通过消除冗余特征来提高数据质量和模型的泛化能力。尽管信息熵对符号数据有效,但同时包含符号和数值特征的异构数据集带来了新的挑战。邻域粗糙集(NRS)模型提供了一种解决方案,但现有的基于NRS的方法在熵和互信息度量上存在非单调性,并且处理冗余的能力不足。为了解决这些问题,我们提出了一种具有单调度量的宏观邻域熵框架和一种成对联合对称不确定性(PJSU)算法,该算法联合评估决策相关性和特征冗余性。在15个基准数据集上使用朴素贝叶斯(NB)和CART分类器进行的实验表明,PJSU取得了最佳性能,NB的准确率为84.61%,CART的准确率为83.00%。与原始数据集相比,这些准确率分别提高了14.38%和4.89%。同时,两种分类器的平均维度分别从5390.8有效降低到了5.67和6.27。这些结果证明了所提出方法在异构特征选择中的有效性。

引言

随着数据量和维度的爆炸性增长,以及数据复杂性的增加,导致了冗余和不相关特征的泛滥[1]、[2]、[3]。冗余信息降低了数据质量,使得提取潜在模式变得更加复杂[4]、[5]。在机器学习中,这种冗余性阻碍了后续的数据挖掘过程[6]、[7]、[8],而在深度学习中,它会对模型训练产生不利影响,并经常导致过拟合[9]、[10]、[11]。
特征选择是一种重要的数据预处理技术,由于其提高数据质量和增强模型泛化的有效性而受到了广泛的研究关注。特征选择已成功应用于多个领域,包括数据挖掘[6]、[12]、模式识别[3]、[14]、异常检测[15]、[16]以及生物信息学中的基因表达分析[17]、[18]。
粗糙集(RS)[19]理论为不确定性提供了一种数学表示方法。在特征选择任务中,它可以通过与粒度计算和熵理论相结合来进一步量化决策的不确定性。然而,由于RS理论依赖于基于特征的样本空间的清晰划分,因此它不太适合异构数据特征选择[20]、[21]、[22]、[23]。
为了解决这一限制,胡等人[24]引入了邻域粗糙集(NRS)模型。NRS模型通过计算样本间的距离来构建邻域类,使其特别适合异构数据环境中的特征选择[25]、[26]。基于邻域的方法已被广泛采用,以扩展粗糙集理论,并在概念逼近和特征选择方面取得了成功[7]、[22]、[27]。
同时,受到香农信息熵理论[28]的启发,研究人员将其广泛应用于特征选择任务[26]、[29]、[30]。胡等人[27]提出了NRS内的邻域信息熵,提供了一种衡量不确定性的指标。王等人[12]提出了邻域自信息,考虑了下近似和上近似。王等人[30]提出了邻域区分指数,从关系角度评估特征在样本空间上的区分能力。张等人[26]引入了邻域组合熵,通过测量邻域类之间的区分关系来量化特征信息。安德烈亚等人[14]开发了一种与互信息相关的邻域熵度量,结合了最近邻基数和位置敏感哈希算法。孙等人[31]提出了模糊邻域悲观多粒度熵,将熵理论与邻域和模糊概念相结合。邹等人[32]提出了多样性熵,用于特征选择任务,同时考虑了等价类的数量和信息熵理论。
大多数现有方法都源自邻域信息熵的扩展,因此面临一个共同挑战。具体来说,邻域信息熵依赖于条件熵来衡量决策不确定性。然而,随着特征子集的增长,邻域条件熵表现出非单调性。戴等人[29]指出这种非单调性阻碍了特征选择过程中停止标准的合理确定,从而影响了特征子集选择的有效性。
在特征选择过程中,评估每个特征对减少决策不确定性的贡献及其在整个特征集中的相对重要性至关重要。互信息(MI)[14]、[18]、[27]作为一种量化特征与决策之间相关性的指标被广泛使用。然而,许多现有算法仅根据MI的大小来评估特征,忽略了特征在特征空间中的上下文重要性以及与决策无关的信息损失。这种疏忽可能导致次优的特征子集,从而降低下游学习模型的性能[4]。孙等人[33]提出了一种基于模糊邻域的特征选择方法,该方法结合了标签增强,有效处理非线性样本关系和缺失的标签信息。周等人[34]提出了一种在线无监督异构组流式特征选择方法(UHGSFS),该方法使用信息系数和基于密度的聚类动态选择代表性特征,而不依赖于标签信息。
为了克服仅依赖互信息值的局限性,研究人员提出了几种先进技术。例如,戴等人[17]引入了信息增益比,将MI转换为比率形式。王等人[8]通过考虑特征的最大独立分类信息来解决这个问题。此外,Witten等人[35]提出了对称不确定性(SU),通过检查特征和决策信息中的MI比例来衡量特征重要性。曾等人[5]进一步扩展了SU,以纳入信息交互的比例,从而更全面地评估特征重要性。戴等人[18]在基因表达数据分析中也取得了有希望的结果,利用归一化的最大独立分类信息比例来评估特征重要性。
受到NRS在处理异构数据方面的优势以及现有异构特征信息度量局限性的启发,本文旨在基于NRS模型构建一种专门用于涉及异构数据的特征选择的信息熵度量。此外,为了解决当前特征选择算法在评估特征重要性方面的不足,我们提出了一种有效的特征重要性评估指标。
本文的主要贡献可以总结如下:
  • •
    邻域粗糙集(NRS)模型在涉及异构数据的特征选择任务中表现出色;然而,基于NRS的现有邻域信息熵度量存在几个局限性。为了解决这些局限性,本文提出了一种新的宏观邻域熵(MRE),其中定义了条件宏观邻域熵、宏观邻域互信息和联合宏观邻域熵等形式,以量化特征之间的信息关系。值得注意的是,条件宏观邻域熵在特征选择任务中表现出单调性。
  • •
    在提出的宏观邻域熵的基础上,我们指出了仅依赖互信息的现有特征选择算法的局限性。为了克服这些问题,我们引入了一种新的特征重要性评估指标——成对联合对称不确定性(PJSU)。PJSU同时考虑了候选特征与选定特征子集之间的交互以及它们对决策属性的联合相关性。基于此指标,进一步开发了一种有效的特征选择算法。
  • •
    在十五个基准数据集上的实验表明,所提出的PJSU算法在选择最短特征子集的同时,始终实现了最佳的平均分类性能。这些结果验证了所提出的宏观邻域熵度量和基于PJSU的特征选择策略在处理异构数据方面的有效性。
本文的结构如下:第2节简要介绍了用于处理异构数据的邻域粗糙集模型和邻域信息熵。第3节介绍了宏观邻域熵度量、其属性、PJSU特征重要性评估指标以及相应的特征选择算法,并强调了宏观邻域熵与邻域信息熵之间的区别。第4节展示了特征选择任务的实验,验证了宏观邻域熵和PJSU算法的优势。最后,第5节总结了本文。

节选内容

邻域粗糙集

本小节介绍了邻域粗糙集模型[24]、其相关属性以及其在异构数据中描述样本间邻域关系的能力。
对于给定的异构邻域信息表 NDT=〈U,C∪D,V〉,其中 U 是一个有限的、非空的样本集,C 是一组条件特征,对于给定的特征子集 B?C 和邻域半径参数 δ,任意一对样本 xi 和 xj 之间的关系值被定义为

宏观邻域熵度量

在本节中,我们指出了邻域信息熵在特征选择任务中的局限性。我们提出了一种新的熵度量方法,称为宏观邻域熵(MRE),其主要创新在于它能够以新的形式捕捉特征之间的信息关系。我们进一步分析了宏观邻域熵与邻域信息熵之间的差异,特别关注了MRE的优势。

实验分析

在本节中,我们将PJSU算法与八种成熟的特征选择算法进行比较,以展示宏观邻域熵度量的有效性和算法的优势。

结论与未来工作

本文介绍了宏观邻域熵(MRE),这是一种为异构数据特征选择任务设计的新度量方法。与传统的邻域熵不同,MRE结合了基于邻域并集的条件熵、互熵和联合熵形式,能够更好地量化特征关系。我们还提出了一种新的特征评估指标——成对联合对称不确定性(PJSU),它同时考虑了特征与决策的相关性和特征之间的冗余性。

CRediT作者贡献声明

朱志琳:撰写——审阅与编辑,撰写——原始草稿,软件开发,调查,概念化。戴建华:撰写——审阅与编辑,方法论,调查,形式分析,概念化。

利益冲突声明

作者声明他们与本工作没有利益冲突。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号