IF-EMD-SPA：一种基于信息流的邻域粗糙集属性约简方法

《Applied Sciences》：IF-EMD-SPA: An Information Flow-Based Neighborhood Rough Set Approach for Attribute Reduction Chunying Zhang, Chen Chen, Guanghui Yang, Siwu Lan and Qingda Zhang

　　

高维混合数据往往缺乏连续属性与离散属性的统一语义表征，这阻碍了混合属性相似性建模，并可能导致现有邻域粗糙集（NRS）方法出现约简不稳定和过拟合等问题。为解决该问题，研究人员提出了IF-EMD-SPA，一种基于信息流（Information Flow）理论的邻域粗糙集属性约简方法。与传统依赖离散化或单一约简准则的邻域粗糙集方法不同，IF-EMD-SPA首先基于分类与信息通道核心（Information Channel Core）建立异构属性的统一表示框架，进而融合推土机距离（EMD）与集对分析（SPA）定义混合属性的相似性度量。此外，该方法在依赖度保持与结构误差的双重约束下设计了三阶段贪婪约简策略，包括依赖驱动的正向选择、相似性驱动的结构补全与反向冗余消除。在五个UCI基准数据集和两个高维基因表达数据集上的实验表明，IF-EMD-SPA在k近邻（KNN）、支持向量机（SVM）和分类回归树（CART）上分别取得了93.5%、93.9%和90.8%的平均准确率，其中SVM在全部七个数据集上均取得最优结果。在CART分类器下，该方法在Wine和WPBC数据集上达到100%的准确率，相比对比方法性能提升最高达37.5个百分点。

在数据获取与大数据技术迅猛发展的背景下，高维结构化数据在医学诊断、化学分析和基因表达分析等领域日益普遍。这些数据往往包含大量冗余属性，加剧了维度灾难，降低了计算效率，并增加了过拟合风险，从而削弱模型的泛化能力与可解释性。属性约简作为数据预处理的基础步骤，旨在去除冗余属性的同时保留原始系统的决策与分类能力，即寻找具有强判别能力的最小属性子集。为应对高维数据中的冗余特征，学术界已发展出多种属性约简范式：信息论方法通过量化特征与类标签的互信息评估特征重要性，如最大相关最小冗余（mRMR）准则；基于实例的局部距离度量方法通过评估特征在近邻样本间的判别能力分配特征权重，如ReliefF；稀疏学习方法将特征选择嵌入模型优化并通过正则化惩罚诱导特征权重的稀疏性，如基于L1正则化的最小绝对收缩和选择算子（LASSO）；基于图的特征选择方法构建样本关系图以捕获局部几何结构与流形特性；此外，嵌入式深度学习方法如自编码器网络近年来在处理大规模非线性数据方面取得显著进展。然而，上述范式在特定应用场景中仍存在明显局限：信息论、距离度量和稀疏学习方法往往难以充分刻画混合类型属性间的复杂非线性耦合；深度学习方法在医学诊断和微阵列基因表达分析等典型小样本高维设置中容易出现严重过拟合，且决策过程缺乏透明性。相比之下，粗糙集理论无需先验知识即可有效度量数据不确定性，已成为该领域的基础范式之一。根据二元关系扩展和近似策略的差异，现有粗糙集模型主要包括经典粗糙集、邻域粗糙集（NRS）、模糊粗糙集、直觉模糊粗糙集以及α,β-水平直觉模糊粗糙集等。其中，邻域粗糙集以邻域关系替代等价关系，避免了离散化造成的信息损失，因能保留连续数据的原始结构而成为连续域属性约简的主流方法。

近年来，针对邻域粗糙集的研究主要集中于三个方向：混合属性关联度量、连续数据粒度划分和特征约简的全局一致性。现有研究仍面临三大挑战：异构数据缺乏统一表示、混合属性间非线性耦合建模不足以及依赖单一准则的约简策略。这些局限使得连续和离散属性难以在共同语义空间中表示，常导致特征子集不稳定和过拟合。为应对这些问题，研究人员整合信息流理论和集对分析（SPA），提出了基于信息流的邻域粗糙集属性约简方法IF-EMD-SPA，旨在保留决策语义的同时提升所得特征子集的全局结构一致性和稳健性。

在该框架下，信息流理论用于构建由分类、同态映射（infomorphism）和信息通道核心组成的逻辑架构，通过该架构将异构属性映射为统一的布尔事件矩阵，为数据提供规范化的结构表示。为建模混合属性间的非线性耦合，研究人员融合推土机距离（EMD）和集对分析（SPA）：EMD用于度量连续数值间的分布差异并保留其原始数值特征，SPA则基于同一、差异和对立提供可解释的相似性表示。在此基础上建立了邻域粗糙集依赖模型及矩阵结构误差约束，最终设计了三阶段贪婪约简算法，包括依赖驱动的正向选择、相似性驱动的结构补全和反向冗余消除，以提升约简的结构稳定性和稳健性。

研究的主要贡献包括：引入基于信息流理论的异构属性形式化语义表示层，通过同态映射将分类连接至共享信息通道核心，将混合连续和离散属性组织为统一的布尔事件矩阵，为后续相似性建模和属性约简提供一致的结构基础；建立融合EMD和SPA的混合属性相似性度量，EMD保留连续属性的分布特征，SPA以可解释方式捕获同一、差异和对立，该设计无需离散化即可改善混合属性关联的表示；开发基于信息流的邻域粗糙集属性约简算法，基于SPA相似矩阵重新定义邻域依赖函数并结合矩阵结构误差约束，采用三阶段贪婪策略实现高维数据的高效稳定特征选择；在多个UCI基准数据集和高维基因表达数据集上开展广泛实验，结果表明所提方法在分类准确率、约简紧凑性和计算效率方面具有竞争力。

研究所用的主要关键技术方法包括：基于信息流理论的统一表征框架，将关系数据表的属性建模为分布系统中的组件分类，通过同态映射连接至共享信息通道核心，生成具有全局语义一致性的统一表示结构；EMD-SPA混合属性相似性度量，对连续属性采用一维EMD度量分布差异并通过指数映射函数转化为集对分析联系度三元组（S,I,D），对离散属性采用基于布尔匹配的SPA映射，将同一、差异和对立关系转换为标量相似度用于邻域构建；SPA-δ邻域粗糙集模型，基于SPA相似矩阵重新定义邻域信息粒、上下近似、边界区域和正区域，构建基于SPA相似性的邻域粗糙集依赖度度量；三阶段贪婪约简策略，在依赖度保持与矩阵结构误差的双重约束下进行依赖驱动正向选择、相似性驱动结构补全和反向冗余消除，其中结构误差以Frobenius范数量化约简前后全局样本相似度矩阵的相对畸变。

研究结果方面，参数敏感性分析表明，IF-EMD-SPA对尺度阈值参数τ和衰减参数λ的扰动具有良好稳定性，而对邻域半径参数δ相对更为敏感，但敏感性主要集中于过小的邻域半径区间，在合理参数范围内方法保持稳定。

算法运行时间比较显示，IF-EMD-SPA在多数中低维数据集上具有较高计算效率，如在Wine数据集仅需0.07秒，在WPBC数据集为0.24秒；在高维数据集上运行时间随维度增加而显著上升，Colon数据集为9.77秒，Prostate数据集达1273.83秒。该算法最坏时间复杂度为O(m2n2)，这一复杂度的增加是为实现全局结构优化和高语义保真度所付出的必要代价。

约简效果比较分析表明，IF-EDM-SPA在大多数数据集上获得中等规模的约简集，既未过度压缩导致信息损失，也未保留明显冗余。在Wine、Ionosphere、WDBC、Colon和Prostate数据集上，约简结果分别为7、10、6、6和5个属性，平均约简属性数为7，更注重在确保分类性能的前提下选择信息贡献高的属性。

分类准确率比较分析表明，IF-EMD-SPA生成的约简集在三种不同分类器上均表现稳健：KNN分类器上平均准确率达92.5%，在Sonar和Prostate数据集上分别为90.5%和90.2%；SVM分类器上平均准确率达93.9%，在除Wine外的所有数据集上取得最优结果，LASSO、mRMR和ReliefF的平均准确率均低于91%；CART分类器上平均准确率达90.8%，在Wine和WPBC数据集上达到100%的准确率。这表明该方法在去除冗余特征的同时保留了适用于不同学习范式的有效信息。

消融研究在Ionosphere数据集上验证了关键模块的贡献：移除SPA联系度映射后，三种分类器的准确率均显著下降，表明SPA的三元逻辑能有效表征样本间的确定性和不确定关系；移除结构误差约束后，约简集规模从10降至6，但SVM和CART准确率分别下降3.78%和2.83%，说明结构误差约束有助于保持特征子集的全局相似性结构，防止过度约简导致的信息损失。

统计显著性检验采用Friedman检验和Wilcoxon符号秩检验结合BH-FDR校正。Friedmman检验表明三种分类器设置下算法间均存在显著差异。KNN设置下，IF-EMD-SPA对FHARA和Algorithm1的优势达到统计显著性；SVM设置下，除mRMR和ReliefF外，对其余七种基线方法均取得全胜且校正后p值高度显著；CART设置下虽因数据集数量较少未能跨越严格显著性阈值，但在胜率和效应量上仍保持稳定优势。

属性可解释性分析以Wine数据集为例，所选特征子集包括Color intensity、Hue、Flavanoids、Nonflavanoid phenols、Proanthocyanins、Proline和Ash，这些特征在葡萄酒分析中具有明确化学意义，可自然归类为多酚谱系、色泽表达、氮代谢特征和无机矿物背景等互补组成维度，为模型判别提供了可追溯的语义支持。

研究讨论与结论部分指出，为应对关系数据表中的属性冗余问题，研究人员提出了基于信息通道和集对分析的混合属性约简框架。该框架基于信息流理论统一映射异构数据的语义结构，构建布尔信息通道核心以承载全局语义，并设计了基于EMD度量和集对分析指数映射的相似性度量机制，在语义层面实现了连续和离散属性的规范化度量。结合邻域粗糙集依赖函数与结构误差约束，构建了包含正向选择和反向消除的启发式属性约简算法。在多个UCI基准数据集和高维基因表达数据集上的对比实验验证了该方法的有效性，结果表明该方法在有效去除冗余属性的同时保持了分类准确率，在不同分类器下均表现出优越的约简性能和决策保留能力。

尽管IF-EMD-SPA算法在多个评价指标上表现良好，但在特定复杂大规模数据场景中仍存在局限。未来研究将主要聚焦于以下方面：参数优化与计算效率，特别是研究自适应参数调整机制以降低计算复杂度并提高高质量特征子集的搜索效率；进一步探索信息通道核心在表示数据深层语义结构中的作用，将所提框架从属性约简扩展至异常检测和无监督聚类等其他数据挖掘任务；考虑真实世界数据的复杂性和变异性，提高算法在噪声污染、不完整信息系统和严重类别不平衡等不利条件下的稳健性；进一步发展基于信息流理论和集对分析的逻辑关联建模框架，探索其与深度学习的融合，以结合信息通道核心的结构表示能力与深度模型的非线性拟合能力，从而改善超大规模复杂数据集的属性约简；将当前框架从单表混合属性设置扩展至多源异构数据场景，发挥信息流理论在统一表示和跨源语义协调中的更核心作用。