邻域决策系统中基于三粒度模型与三视角不确定性测度的系统性特征选择

《Pattern Recognition》：Systematic feature selections using three-way granulation models and three-view uncertainty measures in neighborhood decision systems

　　

•新的信息测度通过在NRSs中优先考虑信息化带来改进。•改进的特征权重诱导出新的WNRSs，并作用于相似性以生成WSNRSs。•代数、信息与融合的三视图测度推动测度与选择的提升。•三分模型与三视图测度带来2+2+3=7个系统化特征选择。•5个新的选择算法超越对比基线，获得更好的性能。

引言

机器学习中的特征选择与粗糙集理论中的属性约简密切相关。它们去除无关特征或冗余信息，从而最优地提取本质特征，进而提升学习性能与泛化能力。如今，特征选择已成为推动发展进步的基本课题[1]、[2]、[3]，并促进了数据挖掘、模式识别、深度学习等领域[4]、[5]、[6]。

不确定性测度作为评估函数在特征选择中发挥关键作用，其量化能力与刻画效力从根本上决定了特征选择的算法成效。不确定性测度已从代数和信息两个视角得到广泛研究。代数测度遵循非对数描述的粗糙集模型，包括依赖度（DD）、精度、粒度等，用于体现相应的特征选择[7]、[8]、[9]。信息测度源自信息熵理论中的对数函数，具有更多形式（如信息熵、条件熵、互信息）和更多特征选择[10]、[11]、[12]、[13]。这两类测度从两个不同视角量化不确定性以体现异质性，因此它们的融合提供了第三种/融合视角，意味着发展趋势和改进成果，尤其在特征选择方面[14]、[15]、[16]。如今，三视图不确定性测度与特征选择已建立起研发的重要框架，并展现出多样性。例如，Wang等人[17]在代数精度上提出了邻域自信息用于特征选择；Xu等人[18]结合邻域联合熵与覆盖-可信度进行特征选择；Chen等人[19]在K近邻粗糙集上构建了重叠度与三视图测度以实现系统化特征选择。尤其从信息视角来看，邻域区分指标（NDI）[20]考虑邻域关系基数以刻画区分度，从而反映了特征子集的区分能力；基于NDI的测度拓展了邻域决策系统（NDSs）中常用的熵型测度，其对应的特征选择算法HANDI（本文也称CDI-FS）已取得有效的分类性能[20]。

不确定性测度依赖于粗糙集模型与相应粒度，而邻域粗糙集（NRSs）因其能为测量与学习提供灵活的邻域粒度而成为基础。然而，NRSs在距离测量与相似性粒度化中同等对待所有特征，因此具有改进空间，因为不同特征通常且实际上具有不同的重要程度。针对这一问题，Hu等人[21]最初从代数视角在划分系数上引入特征权重，从而构建了加权邻域粗糙集（WNRSs）和一个基于DD的选择算法（本文称WPCNDD-FS）；最近，Chen等人[22]系统地建立了三视图权重与测度，从而生成三视图WNRSs与三级融合选择算法。事实上，特征权重可表征特征重要性以促进特征学习，因此在不确定性建模[23]、[24]、特征选择[25]、[26]、[27]与决策[28]、[29]等方面都具有重要价值。目前，来自各种或改进特征权重的WNRSs及其变体仍是发展趋势（尤其是拓展NRSs），以更好地推动不确定性测度与特征选择。

在上述背景下，不确定性测度遵循邻域粒度或加权模型以推动特征选择，因此相关部分值得深入开发。特别是，NRSs中的NDI系统化测度忽略了信息化优先[20]，而WNRSs中源自划分系数的特征权重仅体现代数表示[21]；因此这两种情况都暗示了改进空间，进一步的测度强化与模型深化可推进当前特征选择算法，即CDI-FS[20]与WPCNDD-FS[21]。本文针对NDSs结构化地建立了三分粒度模型与三视图不确定性测度，从而系统地获得启发式选择算法以服务于学习成果。结合图1，我们的研究思路与内容概述如下，该图包含三个纵向模块以反映三分粒度模型。

(I)接纳NRSs（模块(I)）。区分指标（包括NDI、JDI、CDI、MDI）[20]依次实现∑????=1的集成与log信息化，因此后者的函数（对信息构建更为关键）因一次性使用而被削弱。通过运算置换，新的信息测度（包括NIE、NCE、NJE、NMI）出现，将log信息化优先进行更多次，从而更根本地带来改进。此外，NCE激励出选择算法NCE-FS，以模拟并改进源自CDI的CDI-FS[20]。同时，我们利用区分指标构建对称不确定性及其后续特征权重，后者??????构成后续两个模块从NRSs出发进行加权建模的基础。

(II)考虑WNRSs（模块(II)）。就特征权重而言，当前划分系数上的??????来自代数视角[21]，而对称不确定性上的新??????体现了信息视角；期望互补，??????借助区分指标更贴合邻域上下文，从而获得深化与改进。通过模拟与改进，??????诱导出新的WNRSs，相关DD（即WSDD）激励出新的选择算法：WSUNDD-FS，它推进了当前的WPCNDD-FS[21]。

(III)讨论加权相似邻域粗糙集（WSNRSs）（模块(III)）。借助特征权重??????，WSNRSs被建立以进一步优化NRSs与WNRSs，其权重作用于相似性测度（而非距离测度），从而为NDSs提供更广泛的通用性与进一步的改进。在那里，相应的信息测度（包括WSNIE、WSNCE、WSNJE、WSNMI）出现以改进NRSs中的测度，它们与WSDD结合产生融合测度与三视图测度，并揭示其粒度的单调/非单调性。由此，三视图测度创新性地生成三视图选择算法，即WSDD-FS、WSNCE-FS、WSNDCE-FS。

显然，权重模型与不确定性测度的构建推动了特征选择的发展。下面我们仅提取并聚焦相关选择算法，它们位于图1最下方的横向框架内。系统化地共有2+2+3=7个算法，即CDI-FS、NCE-FS；WPCNDD-FS、WSUNDD-FS；WSDD-FS、WSNCE-FS、WSNDCE-FS。其中当前与改进算法的数量分别为2和5。这些算法分别遵循三分模型（NRSs、WNRSs、WSNRSs）与三视图测度（信息、代数、融合测度）。7个算法及其后3个分别以一般和严格意义构成三视图选择算法。通过最后的数据实验，我们5个改进算法通过超越多个对比算法（包括相关的CDI-FS[20]、WPCNDD-FS[21]、NRS[30]以及最新的ODII-RCE-FS[19]、Deep-FS[5]、TSD-FS[6]）取得更好的分类学习性能。

余下部分组织如下。第2节接纳NRSs以提出改进的信息测度（及对应的NCE-FS）与对称不确定性权重??????，后者自然导致新的WNRSs与对应的WSUNDD-FS。第3节构建WSNRSs、三视图不确定性测度与特征选择。第4节开展数据实验以验证相关权重粒度、不确定性测度与选择算法。第5节给出结论。

分节摘要

信息化优先的测度改进与对称不确定性的权重优化

在回顾经典NRSs[20]、[30]之后，本节主要构建基于信息化优先的改进测度与基于对称不确定性的信息权重，这两项新构造均源自区分指标，并进一步自然地诱导出相应的特征选择。

用于分类学习的形式数据可写为决策信息系统，记作??????=(??,??,??)。其中，??={??1,??2,…,????}为非空样本集，??={??1,??2,…,??|??|}为集合

基于加权相似邻域粗糙集的三视图不确定性测度与特征选择

如上所述，在NRSs中区分指标诱导出信息测度与特征权重??????(??)，而??????(??)生成新的WNRSs模型；由此对比得到2个新的选择算法（即NCE-FS与WSUNDD-FS）。本节中，上述特征权重与信息测度被用于进一步激励WSNRSs及其三视图不确定性测度与选择算法。

构造测度与选择算法的数据实验

本节开展数据实验以验证我们的权重粒度、不确定性测度与选择算法，特别是关于数据学习的算法改进。我们采用UCI机器学习库中的7个数据集与Cancer Program数据库中的5个数据集。共12个数据集如表8所述。每个数据集对应??????=(??,??,??)，数据归一化采用常见的最大-最小策略[34]、[35]。所有程序均

结论

本文通过在NDSs中构造权重粒度与不确定性测度，发展了系统化的特征选择。由图1可见，区分指标既激励出新的特征权重??????(??)，又在NRSs上激励出改进的信息测度；此外，??????(??)激励出WNRSs与WSNRSs，而信息测度在WSNRSs上不断被提升与融合。三分模型（NRSs、WNRSs、WSNRSs）与三视图测度（信息、代数、融合测度）的出现诱导出

CRediT作者贡献声明

Jiang Chen：撰写初稿、验证、调查研究、概念构思。Xianyong Zhang：监督、方法论、形式分析。Zhong Yuan：验证、调查研究。Xiaoling Yang：软件、数据整理。Jilin Yang：可视化、数据整理。

利益冲突声明

作者声明他们不存在可能影响本论文报告的已知竞争性财务利益或个人关系。

致谢

作者感谢审稿人和编辑提出的宝贵建议，这大幅改进了本文。本工作由国家自然科学基金（62306196）、四川省自然科学基金（2024NSFSC0486、2025ZNSFSC0873、2026NSFSC0444）以及中国西华师范大学基本科研业务费（493286）资助。

Jiang Chen|Xianyong Zhang|Zhong Yuan|Xiaoling Yang|Jilin Yang