《Mathematics》：Robust Event-Triggered Formation Tracking of Fixed-Wing UAVs Under Aperiodic Communication Outages
编辑推荐：
无监督特征选择旨在不使用类标签的情况下识别信息丰富且非冗余的特征。受Fano不等式的启发，研究人员将所选特征子集的熵作为其信息容量的任务无关启发式。由于多元联合熵难以估计，且所有成对联合熵的精确评估计算成本高昂，研究人员提出了一种受Nystr?m方法启发的地标
无监督特征选择旨在不使用类标签的情况下识别信息丰富且非冗余的特征。受Fano不等式的启发，研究人员将所选特征子集的熵作为其信息容量的任务无关启发式。由于多元联合熵难以估计，且所有成对联合熵的精确评估计算成本高昂，研究人员提出了一种受Nystr?m方法启发的地标块近似。具有高边际熵的特征被选为地标。含有至少一个地标的特征对精确计算联合熵，而非地标特征对则使用其边际熵的几何均值以每对常数时间进行近似。研究人员为该替代量建立了确定性界，并将所得混合估计器纳入增量特征选择策略。在25个公开基准数据集上的实验表明，所提方法在八个评估指标上取得了最低的平均排名。在信息保持指标上，它相对于大多数基线表现出显著优势，同时保持了具有竞争力的分类和聚类性能。
无监督特征选择（UFS）旨在无需类标签的情况下识别信息丰富且非冗余的特征。随着数据采集技术的进步，高维数据集日益普遍，特征数可达数千乃至上万，引发“维数灾难”。无关、冗余或噪声特征不仅掩盖数据结构，还增加存储与计算成本，削弱下游模型的效率与泛化能力。现有UFS方法如基于图保持、稀疏表示、重构或聚类的方法，其目标函数依赖于特定数据结构，且多数需要预设聚类数c，无法直接度量对未来分类任务真正重要的信息保留量。基于此，研究人员提出以所选特征子集的熵作为任务无关的信息容量启发式，其动机源于Fano不等式：若子集熵很低，则任何高熵类变量都无法被准确预测。然而，多元联合熵直接估计在有限样本下不可靠，全部成对联合熵的计算复杂度为O(d2N)，在高维数据上代价高昂。
为克服上述困难，研究人员设计了一种增量特征选择策略，以成对联合熵近似高维联合熵，并提出基于地标块近似的混合估计器以减少成对计算量。该方法首先按边际熵降序排列特征，将高边际熵特征选为地标；对包含至少一个地标的特征对精确计算经验联合熵，对两个非地标特征对则用其边际熵的几何均值作为替代。研究人员证明了该替代量具有保守下界性质，并给出绝对误差界。在25个公开基准数据集上，该方法在八个评估指标上取得最低平均排名，尤其在信息保持指标上显著优于基线。
研究人员采用的关键方法包括：第一，增量前向搜索，通过最大化候选特征与已选特征的成对联合熵之和逐个选择特征，避免穷举子集；第二，地标选择，按边际熵选取地标，使高信息特征进入精确计算区域；第三，混合估计器，对含地标的特征对使用经验联合熵，对非地标对使用几何均值替代，将精确计算的特征对比例降至约2α?α2；第四，理论分析，利用Fano不等式推导熵准则的必要性，并证明替代量的非过估性质及绝对误差上界。这些方法共同降低了计算常数，且无需类标签、图结构或聚类数。
4.1 实验设置（Experimental Settings）
研究人员在25个来自UCI与Kaggle的公开数据集上评估所提方法，涵盖生物信息、图像、音频、游戏等领域，样本数50~8124，特征数22~11340。数值特征按均值二值化，多类别名义特征进行独热编码。与UDFS、CNAFS、EGCFS、GDFS、BGLR、BLSFS、RAFG、SDAE八种代表性UFS方法比较。评估指标包括朴素贝叶斯准确率、决策树准确率、K-means聚类准确率，以及互信息（MI）、归一化互信息（NMI）、模式判别力（PDP）、熵比和基尼不纯度。除方法本身所需参数外，类标签仅用于评估，不参与特征选择。
4.2 比较结果（Comparison Result）
在分类与聚类方面，所提方法在朴素贝叶斯、决策树、K-means上均取得最低平均排名，分别为2.96、3.22、4.36，并在多个数据集上达到最佳结果，如Coil20和Promoters上分类准确率提升明显。在信息保持方面，MI平均排名1.56，远优于第二名CNAFS（3.88），并在18个数据集上取得最佳MI；NMI平均排名2.36，优于第二名GDFS（4.68）。熵比在全部25个数据集上排名第一，平均排名1.00；PDP平均排名1.10；基尼不纯度平均排名1.00。特征选择时间方面，所提方法平均耗时22.11秒，快于多数基线（如BGLR平均3437.84秒，BLSFS平均13506.40秒）。敏感性分析表明，地标比率α=0.1时各指标与精确成对计算无显著差异，而运行时间从91.0秒降至19.0秒；几何均值替代优于独立假设和标准Nystr?m重构，后者会显著降低多项指标。
在讨论部分，研究人员指出子集熵衡量信息容量而非相关性，高熵噪声可能不携带类信息；成对准则忽略三阶及以上交互；熵估计依赖离散化且小样本下有偏；贪心搜索不保证全局最优。这些限制在实验中体现为：信息保持指标优势明显，分类准确率优势较小，聚类准确率无显著差异。结论部分可翻译为：研究人员针对在未知下游分类任务之前进行特征选择的场景开发了本方法。受Fano不等式隐含必要条件的启发，研究人员使用所选子集的熵作为任务无关的信息容量启发式，而不声称其对特定任务保证较低误差。直接估计该子集的高维联合熵是困难的，因此增量搜索通过成对联合熵评估候选特征。为减少成对计算，研究人员选择高边际熵特征作为地标，含地标的特征对获得经验联合熵估计，其余特征对使用几何均值替代。在25个公开基准数据集上的评估使本方法在全部八个指标上平均排名第一。对于MI、NMI、熵比、PDP和基尼不纯度，其在成对Wilcoxon–Holm检验中显著优于所有基线。在分类准确率上，其决策树显著优于八个基线中的七个，朴素贝叶斯显著优于全部八个。聚类准确率具有竞争力但与基线无显著差异。如前所述，熵衡量信息容量而非相关性，因此无标签信息保留提供了有用的选择准则，而非对后续任务结果的保证。
