基于概率质量混淆矩阵分解的分类器性能评估框架

《IEEE Transactions on Knowledge and Data Engineering》:Quantifying Predictive Uncertainty: A Probabilistic Framework for Classifier Evaluation

【字体: 大 中 小 】 时间:2026年09月20日 来源:IEEE Transactions on Knowledge and Data Engineering 11.6

编辑推荐:

   摘要:评估分类器的性能在机器学习中至关重要,特别是在预测的可靠性和可解释性对决策起决定性作用的应用中。传统性能指标(例如准确率和F分数)依赖于将概率输出二元化为硬标签,这忽略了分类器预测中固有的不确定性,并可能高估性能,导致不完整或有误导性的评估。本研究开发了一个以概率质量混

  

摘要:

评估分类器的性能在机器学习中至关重要,特别是在预测的可靠性和可解释性对决策起决定性作用的应用中。传统性能指标(例如准确率和F分数)依赖于将概率输出二元化为硬标签,这忽略了分类器预测中固有的不确定性,并可能高估性能,导致不完整或有误导性的评估。本研究开发了一个以概率质量混淆矩阵(CM?)为核心的概率评估框架,以及将该矩阵分解为决定性分量和残余分量的新型无阈值分解方法。概率混淆矩阵聚合类成员资格的概率质量而非硬计数,使得熟悉的混淆矩阵指标可以在这一概率质量表示上进行评估。第二个支柱是将CM?无阈值分解为决定性和残余分散分量,由决定性权重和残余分散权重(λv和λu)进行总结。这些量描述了总预测概率质量中有多少集中在排名第一的分量上,以及有多少分布在非排名第一的类别中,为模型比较和部署评估提供了互补的诊断工具。在27个UCI数据集上的实证研究表明,从CM?计算出的概率感知分数通常低于硬标签分数,因为它们考虑了排名第一类别之外的扩散预测质量。使用随机森林基线,平均准确率(Acc)为0.87,而概率准确率(Acc?)和多分类性能曲线(MCP)下的面积平均分别为0.77和0.71。此外,更高的确定性伴随着名义性能和概率性能之间更小的分歧,证明了在不需要分布假设的情况下存在强单调关系。这些趋势也得到了验证……
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号