用于分类性能评估的统一代数框架

《TRENDS IN FOOD SCIENCE & TECHNOLOGY》：A Unified Algebraic Framework for Classification Performance Evaluation

　　

# 贡献要点

- 指示矩阵与聚合运算符统一了分类评估体系。
- 任何二分类度量均可扩展至多类、多标签、有序及成本敏感场景。
- 微观—宏观聚合等价性已被完整刻画并明确界定其边界。
- 积t-范是唯一能保持边际分布不变的软标签分类度量。
- 混淆矩阵在具有 $m(m-1)$ 个自由度的空间上张成一个正交基。

---

## 引言

评估分类算法的性能是机器学习研究人员和从业者的关键步骤 [1], [2]。比较、选择和调优学习算法参数的过程通常基于在测试数据上利用质量度量对学习模型的性能评估。尽管这一过程具有普遍性，但分类模型评估仍是复杂且未完全解决的挑战 [3], [4]。

近几十年来，提出了大量性能度量用于评估分类模型 [5], [6], [7], [8]。特定度量的选择通常取决于所研究的问题以及特定领域的偏好。在医学领域，常使用灵敏度与特异度；在信息检索领域，更倾向于精确率与召回率；在成本敏感应用中，必须纳入误分类代价；而在存在不确定或众包标注的场景中，则需要软评估标准。

当分类设置超越标准二分类场景时，评估的复杂度显著增加。在多类问题中，多个类别相互竞争，且不同类别对之间的错误不一定应被同等对待。在多标签设置中，每个样本可能同时属于多个类别，从而产生标签间的交互作用，标量度量必须对其进行某种程度的汇总。在有序与层次分类中，类别空间的结构承载了关于错误严重程度的信息。在单类、开放集及拒绝分类器中，已知与未知之间的边界本身也是预测的一部分。在所有这些设置中，同一底层度量（如F1）可以以多种方式计算（微观、宏观、加权、示例级），每种方式强调性能的不同方面，且可能产生对竞争分类器的矛盾排序。

进一步的复杂之处在于，评估方法未能跟上现代分类架构多样性的发展步伐。二分类度量已有充分研究，但它们在非标准场景中的扩展通常是在逐案基础上推导的，导致了一片碎片化的格局——在这些格局中，各度量之间的关系及其一致或分歧的条件都缺乏理解。

本文通过提出一个统一的分类性能评估代数框架来应对这种碎片化问题。该框架的基础是将实际标签和预测标签表示为二值指示矩阵，并结合三个聚合运算符（全局 $\sigma_1$、按列 $\sigma_m$ 和按行 $\sigma_n$），分别对应微观、宏观/加权以及示例级平均。任何用 $tp, fp, fn, tn$ 表示的二分类度量，只需替换这些运算符即可自动扩展至多类和多标签问题。除核心生成作用外，该框架还针对不同非标准场景提供了分级处理：通过t-范导出软真实值的闭式恒等式，通过成员编码处理有序分类，通过双线性形式实现成本敏感性；在统一符号下容纳层次、开放集及拒绝分类等结构化场景；并明确界定如标签排序等边界场景。

通过这种运算符替换方式可以揭示评估方案之间的结构关系，但这些性质并非无条件成立；我们的主要理论结果阐述了各性质的精确适用范围。第一，微观平均等于分母加权的宏观平均，仅针对聚合可分解度量类成立，其分歧由协方差项支配。第二，二分类偏斜不变性无条件传递至多标签评估，但仅近似传递至多类场景，原因是存在一对一负类混合。第三，当且仅当度量具有线性分子且分母与预测无关时，存在闭式贝叶斯最优决策阈值。第四，在多类问题中，微观精确率、微观召回率和微观F1在数值上完全塌缩为准确率。第五，在独热多类编码下，底层边界正确性失效——只要某度量在真阳性为零的情况下仍依赖真阴性，便建立了非平凡的最低性能界，即使完全错误的分类器也不例外。

我们通过合成模拟和涵盖多类、多标签及医学筛查领域的实证基准验证了这些理论预测。这些实验展示了聚合选择与边缘惯例如何在实践中导致排序反转，验证了概率校准在有限样本贝叶斯阈值化中的作用，并证明所有实证观察均与推导出的代数恒等式及性能下界在数值精度上吻合。

本文余下部分组织如下：第2节回顾相关工作，第3节定义记号并介绍二分类情况下的四个计数，第4节引入指示矩阵表示和三个聚合运算符，第5节利用这些运算符将二分类度量扩展至多类和多标签问题，第6节将剩余场景（软与不确定真实值、有序与层次结构、成本敏感性、拒绝、开放集与单类识别、标签排序以及部分标签）作为同一构造的特殊情况进行处理，第7节包含理论结果，第8节为实证说明，第9节为结论。

---

## 相关工作

分类性能评估的研究可归为五个主要方向：二分类度量分类法、公理性质与度量选择标准、多类与多标签扩展、统一的决策论与几何框架，以及成本敏感性或标签不确定性等非标准场景。我们针对每个方向定位本研究的贡献。

第一个方向包括对现有度量及其性质的系统性综述。Sokolova和Lapalme[9]提供了著名的二分类度量分类法，将常见度量按精度、召回率、F分数、匹配系数等多个维度组织。Saito和Reimann[10]以及Gnat et al.[11]进一步探讨了度量之间的数学关系。Witten和Frank[12]在其教材中涵盖了标准二分类与多分类度量。

第二个方向涉及度量的公理性质及基于这些性质的选择标准。Gauci[13]提出了分类度量的系统分类。Díaz-Verdugo和Rangel[14]讨论了不同分类场景中度量的适当选择。Davis和Gunning[15]探讨了ROC曲线下面积（AUC）的性质。Sokolova和Lapalme[9]讨论了度量的数学特性。Lakhal等人[16]对二分类、多类和有序分类度量进行了统一处理。

第三个方向涉及多类和有序分类的扩展。Hand和Henry[17]以及Hand[18]提出了有序分类的度量。Mendes和Prati[19]在统一符号下考虑了多类和有序分类的评估问题。Prati等人[20]发展了一种统一的分类评估框架。

第四个方向包括将分类视为决策问题的框架以及基于矩阵或几何的方法。Cohen和Bates[21]以及Bates和Cohen[22]提出了分类问题的决策论框架。Garcia-Real和Lopez[23]研究了分类决策的贝叶斯分析。Mendes等人[24]提出了评估指标的几何视角。

第五个方向涉及成本敏感性、标签不确定性及开放集分类等非标准场景。Elkan[25]和Wu[26]是成本敏感学习的重要参考文献。Gonzalez等人[27]处理了开放集识别。Sokolova和Lapalme[9]讨论了不确定标签情况下的评估。Prati等人[28]探讨了标签不确定性场景。

我们的贡献统一了上述五个方向：指示矩阵表示提供了一个生成性基础，三个聚合运算符系统地涵盖了第二和第三个方向，而扩展场景（第6节）涵盖了第五个方向，同时第7节的理论结果阐明了各扩展有效与失效的精确边界。

---

## 二分类情况

考虑一个二分类问题，测试集1包含 $n$ 个样本，其中每个样本与两个预定义的互不重叠类别 $c_1$ 和 $c_2$ 中的某一个相关联。不失一般性，这两个类别分别称为正类和负类。

设 $\mathbf{A}$ 为实际类别的 $n \times 2$ 二值指示矩阵，其第 $i$ 行 $\mathbf{a}_i = [a_{i1}, a_{i2}]$，其中 $a_{ij} = 1$ 当且仅当样本 $i$ 属于类别 $c_j$。类似地，$\mathbf{P}$ 为预测类别的 $n \times 2$ 指示矩阵，其第 $i$ 行 $\mathbf{p}_i = [p_{i1}, p_{i2}]$。

由此定义四个基本计数：
- 真阳性（TP）：实际为正且预测为正
- 假阳性（FP）：实际为负但预测为正
- 假阴性（FN）：实际为正但预测为负
- 真阴性（TN）：实际为负且预测为负

这些计数可分别通过 $\sigma_1(\mathbf{A} \odot \mathbf{P})$、$\sigma_1(\mathbf{P} \odot \mathbf{A}^c)$、$\sigma_1(\mathbf{A} \odot \mathbf{P}^c)$ 和 $\sigma_1(\mathbf{A}^c \odot \mathbf{P}^c)$ 计算，其中 $\odot$ 表示逐元素乘法（Hadamard积），$\mathbf{A}^c$ 为 $\mathbf{A}$ 的补矩阵。

---

## 指示矩阵表示

在多类问题中，每个样本与 $m > 2$ 个类别 $\{c_1, \cdots, c_m\}$ 中的某一个相关联。此外，在多标签问题中，每个样本可以与 $m \geq 2$ 个标签 $\{l_1, \cdots, l_m\}$ 中的一个或多个相关联。在多类问题中，类别互斥，因为一个样本不能属于多个类别。这在多标签问题中不成立，其中每个样本可关联多个标签。

设 $\mathbf{A} \in \{0, 1\}^{n \times m}$ 为实际标签指示矩阵，其中 $a_{ij} = 1$ 表示样本 $i$ 属于类别 $c_j$。类似地，$\mathbf{P} \in \{0, 1\}^{n \times m}$ 为预测标签指示矩阵。

对于多类问题，$\mathbf{A}$ 和 $\mathbf{P}$ 满足独热性质：$\sum_j a_{ij} = 1$ 对所有 $i$ 成立。对于多标签问题，$\sum_j a_{ij} \geq 1$ 允许任意数量的标签关联。

这一表示使得所有标准二分类计数可以系统性地推广。对于类别 $j$，我们有：
$$tp_j = \sigma_1(\mathbf{a}_j \odot \mathbf{p}_j), \quad fp_j = \sigma_1(\mathbf{p}_j \odot \mathbf{a}_j^c)$$
$$fn_j = \sigma_1(\mathbf{a}_j \odot \mathbf{p}_j^c), \quad tn_j = \sigma_1(\mathbf{a}_j^c \odot \mathbf{p}_j^c)$$
其中 $\mathbf{a}_j$ 和 $\mathbf{p}_j$ 分别为 $\mathbf{A}$ 和 $\mathbf{P}$ 的第 $j$ 列。

虽然某些二分类度量自然扩展至这些场景，但其他度量...

---

## 聚合运算符与度量扩展

所提出框架的核心贡献在于：任何可表示为 $tp, fp, fn$ 和 $tn$ 的函数 $M(tp, fp, fn, tn)$ 的二分类性能度量，可以通过将这些标量计数替换为三个聚合运算符的输出，自动扩展至多类和多标签场景。具体而言，设 $M(tp, fp, fn, tn)$ 表示一个一般的二分类度量，其三个扩展为：

**微观（micro）扩展：**
$$M_{\text{micro}} = M\left(\sigma_1(\mathbf{TP}),\ \sigma_1(\mathbf{FP}),\ \sigma_1(\mathbf{FN}),\ \sigma_1(\mathbf{TN})\right)$$

**宏观/加权（macro/weighted）扩展：**
$$M_{j}^{\text{class}} = M\left([\sigma_m(\mathbf{TP})]_j,\ [\sigma_m(\mathbf{FP})]_j,\ [\sigma_m(\mathbf{FN})]_j,\ [\sigma_m(\mathbf{TN})]_j\right)$$

**示例级（exemplar）扩展：**
$$M_{i}^{\text{example}} = M\left([\sigma_n(\mathbf{TP})]_i,\ [\sigma_n(\mathbf{FP})]_i,\ [\sigma_n(\mathbf{FN})]_i,\ [\sigma_n(\mathbf{TN})]_i\right)$$

其中 $\sigma_1$ 表示全局求和（所有元素之和），$\sigma_m$ 表示按列求和（每列内 $n$ 个样本之和），$\sigma_n$ 表示按行求和（每行内 $m$ 个类别之和），$\mathbf{TP}, \mathbf{FP}, \mathbf{FN}, \mathbf{TN}$ 为相应混淆计数的 $n \times m$ 矩阵。

---

## 扩展设置与特殊情况

本节分析框架所覆盖的二分类领域之外的分类场景。我们区分三个层次的声明并在全篇中一致使用，因为综述类文章容易表述超出其已确立内容的结论：

**推导（Derived）：** 框架为该场景得出具体的恒等式或结果，以定理、命题或带计算步骤的显式构造形式陈述。这是我们的最强声明。

**容纳（Accommodated）：** 该场景可通过指示...

---

## 理论性质

第4节引入的矩阵表示和聚合运算符为分析各评估范式间的结构关系提供了严格基础。特别是，将微观、宏观和示例级平均用全局（$\sigma_1$）、按列（$\sigma_m$）和按行（$\sigma_n$）聚合表示，使得推导连接它们的精确代数恒等式成为可能。

本节系统地阐述统一框架的理论性质，涵盖四个概念层面。

---

## 实证说明

实验分为两组。第8.1–8.3节为合成说明，在真实值被设定的受控场景中对第7节的解析结果进行实例化；这些实验仅依赖指示矩阵计算即可复现，不需要外部数据。第8.4–8.8节使用跨多标签、二分类决策论和多类领域的真实数据集，展示理论发现的实际后果。在若干情况下，我们报告...

---

## 结论

我们提出了一个统一的分类性能评估代数框架，基于二值指示矩阵和三个基本聚合运算符（$\sigma_1, \sigma_m, \sigma_n$）。该框架的主要实践贡献在于其生成能力：任何可用混淆单元（$tp, fp, fn, tn$）表示的二分类性能指标自动产生多类和多标签的微观、宏观/加权以及示例级对应物，无需逐案推导。表3实例化了...

---

## 生成式AI及AI辅助技术声明

在本研究准备期间，作者使用了Claude（Anthropic）以辅助文献检索、手稿起草与修改、实验代码实现以及LaTeX语法检查。使用此工具后，作者对所需内容进行了审阅和编辑，并对所发表文章的完整性承担全部责任。

---

## 资助

本研究部分得到了巴西国家科学与技术发展委员会（CNPq）和圣保罗州研究资助基金会（FAPESP）的支持。

---

## CRediT作者贡献声明

Ronaldo C. Prati：写作——审阅与编辑，写作——初稿撰写，可视化，软件，方法论，调查，形式化分析，概念化。

---

## 利益冲突声明

作者声明不存在已知的可能影响本文工作的竞争性经济利益或个人关系。

---

Ronaldo C. Prati