“A 6 or a 9？”：通过多种高性能模型和解释机制实现集成学习

《ACM Transactions on Knowledge Discovery from Data》：“A 6 or a 9?”: Ensemble Learning through the Multiplicity of Performant Models and Explanations

机器学习模型泛化能力提升方法研究，提出基于Rashomon Effect的集成学习新框架，通过多模型空间分布分析实现最优模型组合，有效解决高相似度模型选型难题。实验表明该方法在制造业质量检测、医疗影像分析等场景提升AUROC达0.20+。

　　

摘要

从过去的观测数据中创建模型，并确保这些模型在新数据上的有效性是机器学习的核心。然而，选择具有良好泛化能力的模型仍然是一项具有挑战性的任务。与此相关的一个概念是“Rashomon效应”，指的是在给定的学习问题中，多个模型的表现相似的情况。这种情况在现实世界的场景中很常见，例如制造过程或医学诊断中，数据中的多样模式会导致出现多个性能优异的解决方案。我们提出了Rashomon集成方法，该方法策略性地从这些多样化的优秀模型中选择模型以提高泛化能力。通过根据模型的性能和解释能力对它们进行分组，我们构建了既能最大化多样性又能保持预测准确性的集成系统。这种选择方式确保每个模型覆盖解决方案空间中的不同区域，从而使集成系统对数据分布的变化和未见数据具有更强的鲁棒性。我们在公开的和专有的真实世界数据集上验证了我们的方法，在Rashomon效应较明显的场景中，该方法能够将AUC提升0.20%以上。此外，我们还展示了该方法在各种实际应用中的显著优势，突显了其鲁棒性、实用性和有效性。