《Neurocomputing》：QC-SMOTE: Quality-controlled SMOTE for imbalanced classification
编辑推荐：
类别不平衡对分类构成了重大挑战，现有方法（如SMOTE）在存在噪声或类别重叠的区域往往生成低质量的合成样本。研究人员提出QC-SMOTE，一个质量控制过采样框架，它使用复合邻域可信度评分（composite neighbourhood trustworthin
类别不平衡对分类构成了重大挑战，现有方法（如SMOTE）在存在噪声或类别重叠的区域往往生成低质量的合成样本。研究人员提出QC-SMOTE，一个质量控制过采样框架，它使用复合邻域可信度评分（composite neighbourhood trustworthiness score）来估计少数类样本的可靠性，该评分结合了局部密度（local density）、安全水平（safe-level）和与多数类的隔离程度。合成候选样本采用IPQ引导的最佳K选一（best-of-K）策略生成，该策略评估中点纯度（midpoint purity），并在需要时评估多数类间隙（majority clearance），样本分配由样本可靠性和边界信息量（boundary informativeness）引导。生成行为在不同重叠-不平衡机制（overlap–imbalance regimes）间自适应调整，调节插值范围和选择标准以匹配局部数据几何结构。当插值不适用时，QC-SMOTE可通过依赖纯度与机制规则的复制规则，改用原始少数类样本的精确副本。在30个不平衡数据集上使用重复分层交叉验证的实验表明，QC-SMOTE在比较的过采样方法中取得了最强的平均AUC-ROC和宏F1（Macro F1），包括经典SMOTE变体、近期过采样器以及表格生成基线。在报告的基准比较中，QC-SMOTE获得0.9321的平均AUC-ROC和0.8437的平均宏F1，在两个指标上均排名第一。与VS-SMOTE相比的宏F1差异不具有统计学显著性（Holm校正后p值）。这些结果证明了质量感知、几何自适应的合成采样对于稳健的不平衡分类的重要性。代码：https://github.com/parthupman/QC-SMOTE
论文解读
一、研究背景与问题
现实世界中的许多分类问题，如欺诈检测、医学诊断、故障预测和异常检测，其核心挑战并非数据充足，而是关键少数类样本的稀缺。标准分类器在不平衡数据上训练时，往往偏向多数类，因为这样做可以获得较高的整体准确率，却无法有效识别少数类模式。这种传统经验性能与实际应用目标之间的错位，构成了不平衡学习领域的基本矛盾。
不平衡学习方法通常分为数据层面、算法层面和代价敏感方法三类。数据层面方法直接作用于训练分布，因其简单、与分类器无关且易于集成到现有机器学习流程中而具有吸引力。在数据层面方法中，SMOTE（合成少数类过采样技术）是最具影响力和广泛使用的方法之一，它通过在现有少数类实例之间进行插值来生成新的少数类样本。然而，SMOTE及其众多变体依赖于一个强几何假设：邻近少数类点之间的插值通常是安全的。
这一假设在实践中经常被违反。少数类样本可能位于类别边界附近、重叠区域内，或作为孤立离群点存在。从这些点进行插值可能产生模糊、含噪或更接近多数类分布的合成样本。边界聚焦方法如Borderline-SMOTE和ADASYN试图在困难区域投入更多生成，而密度和聚类方法则寻求更有信息量的生成区域。但这些方法面临艰难权衡：过度聚焦边界或稀疏区域会放大噪声，而仅集中在安全稠密区域可能降低多样性并使少数类分布的某些部分代表性不足。
研究人员的诊断分析进一步证实了这一失败模式：SMOTE生成样本落入多数类主导邻域的比例随不平衡严重程度显著增加，在高不平衡机制下达到42.7%。移除这些不安全样本在该机制下产生了最大的宏F1改善。此外，所提出的可信度评分与从每个种子生成的合成样本纯度密切相关，表明插值质量可以在合成样本加入训练集之前被估计。
二、研究内容与结论
针对上述问题，研究人员提出了QC-SMOTE，一个质量控制过采样框架。其核心思想是：合成样本不应仅仅因为位于两个少数类点之间就被接受。QC-SMOTE首先使用复合邻域可信度评分估计少数类样本的可靠性，该评分结合局部密度、安全水平特征和与多数类的隔离程度。这一评分引导种子选择和合成样本分配，将更多生成能力赋予位于特征空间可靠区域的少数类样本。
QC-SMOTE随后引入IPQ（插值纯度与质量）引导的最佳K选一生成策略。与从每个种子-邻居对产生单一合成样本不同，该方法生成多个候选并评估其局部纯度和（必要时）与多数类的间隙。这种候选级质量控制允许QC-SMOTE在不良插值结果加入训练集之前将其拒绝。此外，该方法在不同重叠-不平衡机制间自适应调整生成行为，根据数据几何结构调节插值范围、候选选择和回退行为。当插值不适合或少数类极小时，QC-SMOTE可使用原始少数类副本。
在30个真实不平衡数据集上使用重复分层交叉验证的评估中，QC-SMOTE在CatBoost基准下取得最强平均AUC-ROC（0.9321）和最强平均宏F1（0.8437）。与VS-SMOTE的宏F1差异不具有统计学显著性，但AUC-ROC的改善在统计上显著。这些结果支持了研究的核心假设：当合成生成同时由样本可靠性、候选质量和局部不平衡-重叠机制引导时，过采样最为有效。
三、关键技术方法
QC-SMOTE的核心技术方法包括以下方面。第一，复合邻域可信度评分，综合局部少数类支持（安全水平）、局部少数类密度和与多数类的隔离程度三个归一化分量，形成每个少数类样本的可信度分数。第二，可靠性加权分配机制，将合成样本的生成尝试按可信度比例分配，高可信种子获得更多生成机会，低可信离群点被抑制。第三，IPQ引导的最佳K选一候选生成，对每个种子-邻居对生成多个插值候选，通过候选局部纯度、中点纯度和多数类间隙的综合质量评分选择最优候选。第四，机制自适应生成策略，根据不平衡率（IR）和重叠分数动态调整候选数量、插值范围和回退行为。第五，自适应复制与优雅降级机制，包括纯度触发替换、重复混合和小少数类复制三种规则。实验采用30个真实二元不平衡数据集（D1-D30），覆盖生物分类、玻璃识别、页面块识别、车辆识别、甲状腺疾病检测和酵母蛋白质定位等领域，不平衡率从1.82到32.73，使用5折分层交叉验证重复5次共25次训练-测试评估。
四、研究结果
4.1 整体结果：在30个数据集的CatBoost比较中，QC-SMOTE取得最强平均AUC-ROC（0.9321）和16次最优，以及最高平均宏F1（0.8437）和并列最高的9次最优。AUC-ROC结果显著优于包括VS-SMOTE在内的主要SMOTE族基线，表明质量控制候选生成产生了更可靠的决策分数。
4.2 不平衡机制分析：将数据集分为轻度（IR<5）、中度（5≤IR≤10）和高不平衡（IR>10）三组。QC-SMOTE在所有三个机制中均取得最佳AUC-ROC和宏F1。在高不平衡机制下，QC-SMOTE将宏F1从VS-SMOTE的0.7018提升至0.7621，改善幅度最大，支持了质量控制生成在少数类稀缺时最有用的核心动机。
4.3 组件消融研究：在高不平衡子集上移除四个主要组件均导致性能下降。移除IPQ中点纯度标准导致最大退化（宏F1降至0.7092），确认评估插值区域质量而非仅端点样本是方法核心。移除纯度下限也造成大幅下降，表明低质量候选过滤在稀疏和重叠区域中必不可少。
4.4 超参数敏感性：默认配置（邻域大小k=5、候选数K=3、过冲因子1.25、纯度阈值0.3）表现最佳。过大的邻域会模糊局部结构，仅使用单一候选会削弱选择机制，极端的纯度阈值均降低性能。
4.5 生成样本多样性：QC-SMOTE的重复分数（0.4738）高于其他方法，反映其复制规则。移除重复后重复分数降至0.0021，但生成样本仍相对集中。QC-SMOTE被定位为质量控制过采样器而非多样性最大化生成器，优先考虑可靠样本放置而非最大分散度。
4.6 统计显著性：配对Wilcoxon符号秩检验显示，QC-SMOTE在AUC-ROC上对SMOTE、B-SMOTE1、K-SMOTE、RSMOTE、SMOTE-CD和VS-SMOTE均具有统计显著改善。在宏F1上对除VS-SMOTE外的所有基线显著，与VS-SMOTE的比较p值为0.127，不具显著性。
4.7 多类与高维评估：在六个多类OpenML数据集上，QC-SMOTE取得最高平均宏F1（0.7878），但幅度较小。在五个高维数据集上，QC-SMOTE取得最强平均AUC-ROC（0.9702）和宏F1（0.9295），表明质量控制在更高维度仍然适用。
4.8 分类器兼容性：QC-SMOTE与CatBoost、类加权CatBoost、平衡随机森林、EasyEnsemble和RUSBoost五种分类器组合均优于SMOTE，对集成方法的增益更大，表明其可与不平衡感知机制互补。
4.9 运行时间：QC-SMOTE平均运行时间0.0360秒，约为SMOTE的39.47倍，但远低于VS-SMOTE的208.73倍。这表明最佳K选一质量控制策略在预测性能和计算成本之间提供了有利的权衡。
五、讨论与结论
讨论部分指出，QC-SMOTE在AUC-ROC和宏F1上的优势表明，质量控制候选生成有助于产生更可靠的决策函数。与VS-SMOTE相比，QC-SMOTE在宏F1上具有更强平均值但差异不显著，而在AUC-ROC上具有统计显著的改善，同时计算开销仅为VS-SMOTE的约五分之一。
研究结论强调，过采样的性能提升不仅来自增加少数类样本数量，更来自控制生成样本所在区域的可靠性。QC-SMOTE将重点从数量驱动的过采样转向质量感知的数据构建。这一区别在高不平衡设置中尤为重要，因为少量不可靠的合成样本可能不成比例地影响学习到的决策边界。通过结合可靠性估计、候选过滤和机制自适应，QC-SMOTE旨在使合成过采样在不同数据条件下更加可靠。
