《BMC Artificial Intelligence》：A statistical matching approach to handling imbalanced datasets using binary classifiers
编辑推荐：
背景：类别不平衡（class imbalance）仍是分类算法的主要挑战，因为传统模型倾向于多数类。尽管统计匹配（statistical matching）已广泛用于数据整合，但其处理类别不平衡的潜力受到有限关注。本研究提出StatMatch，一种新的欠采样（
背景：类别不平衡（class imbalance）仍是分类算法的主要挑战，因为传统模型倾向于多数类。尽管统计匹配（statistical matching）已广泛用于数据整合，但其处理类别不平衡的潜力受到有限关注。本研究提出StatMatch，一种新的欠采样（undersampling）方法，将统计匹配用于识别具代表性的多数类观测：基于精确匹配准则配对现有少数类和多数类观测，该准则评估所选匹配变量之间的一致或不一致程度，从而在不生成合成观测的情况下生成平衡数据集。
方法：研究人员通过逻辑回归（Logistic Regression）和人工神经网络（Artificial Neural Network, ANN）分类器，在四个真实世界不平衡数据集上，将StatMatch与合成少数类过采样技术（Synthetic Minority Oversampling Technique, SMOTE）进行比较评估。基于重复分层10折交叉验证（repeated stratified 10-fold cross-validation）的F-measure和受试者工作特征曲线下面积（Area Under the Receiver Operating Characteristic Curve, AUC）评估性能。两种方法之间的统计差异采用配对Wilcoxon符号秩精确检验（paired Wilcoxon signed-rank exact tests）检验。
结果：SMOTE通常较StatMatch取得更高性能。对于Blood数据集，SMOTE在逻辑回归（68.7 ± 3.7%）和ANN（68.8 ± 2.0%）中获得的F-measure值高于StatMatch（分别为54.2 ± 5.6%和57.4 ± 4.9%），差异显著（p ≤ 0.004）。类似地，SMOTE在两个分类器中获得的AUC值（76.3 ± 3.1%和75.8 ± 3.1%）高于StatMatch（57.6 ± 5.1%和56.5 ± 5.3%）（p = 0.002）。在Breast数据集上，两种方法使用逻辑回归均达到高AUC性能（SMOTE：99.5 ± 0.3%；StatMatch：99.2 ± 0.3%），无显著差异（p = 0.065）。对于Parkinson数据集，StatMatch结合ANN在F-measure（76.2 ± 15.6% vs. 75.0 ± 9.1%）和AUC（84.4 ± 12.7% vs. 82.9 ± 9.2%）上略优于SMOTE，尽管差异无统计学意义（p > 0.05）。
结论：研究结果表明，SMOTE仍是改善不平衡数据集分类性能的强基线方法。然而，StatMatch代表一种有前景的补充策略，用于不平衡二分类，特别是在希望保持数据真实性的应用中。未来工作应研究其在更大、更多样数据集、额外分类器及多分类问题上的性能。
研究背景方面，类别不平衡（class imbalance）是监督机器学习中的常见障碍，分类器通常偏向较大类别，导致较小类别识别不足；该问题常见于风险预测、医学诊断和欺诈检测等场景，而少数类往往更具实际意义。数据层解决方案以重采样为主，因独立于分类器而应用广泛；其中欠采样（undersampling）会删除多数类观测，过采样如SMOTE会生成合成少数类观测，二者分别存在遗漏重要多数类病例和引入虚构观测的不足。统计匹配长期用于无共同唯一标识时的数据整合，但将其用于类别不平衡的研究较少。为此，研究人员提出StatMatch，将统计匹配改造为多数类欠采样策略，通过精确匹配准则保留具代表性的多数类观测，生成完全由观测数据组成的平衡数据集，以满足医疗、金融、官方统计等对数据来源和可解释性要求较高的应用需求。研究在四个真实不平衡数据集上比较StatMatch与SMOTE，采用逻辑回归（Logistic Regression）和人工神经网络（ANN）评估，结论是SMOTE通常仍为强基线，但StatMatch在部分数据集-分类器组合中具有竞争性，可作为保持数据真实性场景下的补充策略。
方法概括（不超过250字）：研究人员使用加州大学欧文分校（UCI）四个公开不平衡数据集：Blood Transfusion Service Centre（Blood）、Haberman’s Survival（Haberman）、Breast Cancer Wisconsin（Breast）和Parkinson’s Disease（Parkinson）。预处理包括删除缺失值、将类标签转为二值结局、识别少数/多数类及变量变换。StatMatch将多数类视为供体、少数类视为受体，基于选定匹配变量G的精确匹配指示距离进行配对，距离为0表示相同、1表示不同；为每个少数类观测选择最小距离的多数类观测，平局时取最小唯一标识，不替换并保留全部少数类。分类器为逻辑回归和ANN；采用70%/30%分层划分，训练集进行重复分层10折交叉验证，测试集评估；指标为F-measure和AUC；采用配对Wilcoxon符号秩精确检验；分析在R 4.3.1中完成。
结果部分：F-measure性能比较（Comparison of F-measure performance）通过重复分层10折交叉验证并结合配对Wilcoxon检验比较SMOTE与StatMatch。Blood数据集中SMOTE显著优于StatMatch：逻辑回归为68.7 ± 3.7% vs. 54.2 ± 5.6%（p = 0.004），ANN为68.8 ± 2.0% vs. 57.4 ± 4.9%（p = 0.002）。Haberman数据集中，原文报告了不完全一致的比较结果：一处逻辑回归为63.3 ± 6.1% vs. 56.5 ± 8.9%（p = 0.106，不显著），ANN为67.0 ± 8.0% vs. 53.7 ± 9.2%（p = 0.006，显著）；另一处逻辑回归无显著差异（p = 0.695），ANN显著（p = 0.027），总体显示SMOTE在ANN下具优势。Breast数据集中两种方法均高于94%，SMOTE逻辑回归97.4 ± 0.8% vs. StatMatch95.5 ± 1.2%（p = 0.004），ANN97.4 ± 1.2% vs. 94.6 ± 1.8%（p = 0.002），差异显著。Parkinson数据集中，逻辑回归SMOTE80.9 ± 7.1% vs. StatMatch73.5 ± 9.9%（p = 0.160，不显著）；ANN中StatMatch76.2 ± 15.6% vs. SMOTE75.0 ± 9.1%（p = 0.695，不显著）。AUC性能比较（Comparison of AUC performance）同样基于重复分层10折交叉验证和配对Wilcoxon检验。Blood数据集中SMOTE显著更高：逻辑回归76.3 ± 3.1% vs. 57.6 ± 5.1%，ANN75.8 ± 3.1% vs. 56.5 ± 5.3%（p = 0.002）。Haberman数据集中逻辑回归为71.8 ± 5.2% vs. 64.8 ± 6.1%（p = 0.065，不显著），ANN为74.2 ± 6.4% vs. 62.7 ± 8.0%（p = 0.014，显著）。Breast数据集中两者均高于96%，逻辑回归99.5 ± 0.3% vs. 99.2 ± 0.3%（p = 0.065，不显著），ANN99.2 ± 0.7% vs. 96.9 ± 1.3%（p = 0.002，显著）。Parkinson数据集中逻辑回归SMOTE90.0 ± 4.1% vs. StatMatch72.7 ± 11.5%（p = 0.002，显著），ANN中StatMatch84.4 ± 12.7% vs. SMOTE82.9 ± 9.2%（p = 0.557，不显著）。总体而言，SMOTE在多数组合中均值更高，StatMatch在部分组合中表现可比或略优但多无统计学显著差异。
讨论部分总结：研究考察统计匹配能否作为二分类类别不平衡的数据层策略，结果表明两种平衡方法的相对成功高度依赖数据集特征和分类器类型；SMOTE在八种数据集-分类器组合中的七种取得更高平均F-measure和AUC，但统计检验显示差异并非在所有数据集上一致显著。Blood和Haberman中SMOTE的优势与既往合成过采样改善少数类代表性的证据一致，尤其当少数类稀疏时更支持SMOTE稳健性；Breast中两法差异较小，提示类别可分性高时重采样策略影响有限；Parkinson结合ANN时StatMatch略优但不显著，提示统计匹配可能保留对非线性模型有用的结构，但尚不能确认明确优势。研究贡献在于将统计匹配从数据整合拓展为类别不平衡处理策略，并证明不生成人工实例也可形成平衡数据集；局限包括仅使用四个公开二分类数据集、仅与SMOTE比较、采用确定性匹配模型、仅评估逻辑回归和ANN，未来需研究更大更多样数据集、其他过采样/欠采样/混合方法、多分类问题、多个多数观测距离为0的情形、随机模型及更多分类器。总体结论认为SMOTE仍是多数实验数据集上的稳健标准，而StatMatch在部分数据集-分类器组合中具竞争力，在数据真实性重要时可作为实用替代方案。
研究结论翻译：本研究考察了一种利用统计匹配原理的新方法StatMatch作为二分类任务中类别不平衡替代方案的有效性，并将其性能与广泛使用的合成少数类过采样技术（SMOTE）进行比较。研究人员在四个基准不平衡数据集上使用重复分层10折交叉验证评估逻辑回归和人工神经网络（ANN）分类器。评估采用F-measure和AUC，并通过配对Wilcoxon符号秩检验进行统计比较，以判断观察到的性能差异是否显著。实验结果显示，SMOTE在多数数据集和性能指标上通常提供更好的分类结果。然而，所提出的StatMatch方法在某些数据集-分类器组合中表现出竞争力，特别是在Parkinson数据集结合ANN分类器时，并在Breast数据集使用逻辑回归评估时达到可比的判别性能。此外，统计显著性检验表明，许多观察到的性能差异并不具有统计学意义，提示每种方法的相对成功取决于数据集属性和分类器选择。尽管有这些发现，StatMatch通过改编经典统计匹配原理而非生成合成样本，为处理不平衡数据集提供了不同途径。该策略不向训练集添加人工生成实例，从而保持原始数据的真实性。在数据准确性、可追溯性和清晰度至关重要的领域，如医疗、金融及其他涉及敏感信息的场景，该方法可能特别有益。此外，结果表明分类器性能受平衡技术和数据特征共同影响。总体而言，ANN分类器在多数数据集上表现出优于逻辑回归的预测性能，表明更灵活的非线性分类器可能更好地利用平衡训练数据。这些结果为基于统计匹配的重采样方法的进一步研究奠定了基础。未来研究应探索将统计匹配与过采样或欠采样方法结合的混合技术，并在更大、更多样的数据集和不同机器学习分类器上评估所建议方法。进一步研究StatMatch框架的计算效率、可扩展性以及向多分类和高维分类问题的扩展，也将增强其实际适用性。
