在标签偏移条件下稳定基于 EM 的量化方法

《Knowledge-Based Systems》：Stabilizing EM-based quantification under label shift

　　

一种新颖的模块化框架将期望-最大化量化器（EMQ）分解为E步后验变换和M步流行度更新规则。
理论分析揭示了该算法的渐近一致性与其局部稳定性之间的实用权衡。
广泛的多类别评估表明，不同的改进方式会根据分类器和数据特性带来高度互补的性能提升。

引言
先验概率偏移（也称为标签偏移）下的量化是指在无标签的目标数据集中估计各类流行度的任务，假设特征与标签之间的关系在不同领域之间保持不变，而整体类别分布存在差异。在这种设置下，在源域上训练的分类器在应用于目标域时，其预测通常存在偏差。量化的目标是基于分类器的输出纠正这种偏差，并准确估计目标域中的类别分布（[1]，[2]）。该问题出现在多种应用中，如市场调研、情感分析和流行病学，在这些应用中，目标群体中的类别比例与训练集中的比例不同，我们关注的是聚合层面的结果。
一个直接的解决方案是对所有无标签样本进行标记并统计标签频率（[3]），但这种做法在标签偏移条件下众所周知是次优的。期望-最大化量化器（[4]），也称为Saerens-Latinne-Decaestecker（SLD）算法，是最早在标签偏移条件下提出最优流行度预测的方法之一。EMQ将未知类别流行度视为潜在参数，迭代调整分类器的后验概率和流行度估计，直至收敛。这种基于EM的调整具有强大的理论动机，是先验概率偏移下的最大似然解，并已被证明极为有效，特别是在具有高度判别性图像表示的深度学习中（[5]）。然而，在许多涉及表格数据或较浅分类器的实际应用中，EMQ存在实用性不稳定的问题（[6]）。
自2002年引入以来，EMQ已被广泛应用于量化文献中，并一直是最具影响力且最常用的方法之一。除量化之外，基于EM的方法还被广泛应用于先验概率偏移下的分类领域，在该领域中，目标是将源数据上训练的分类器适配或重新训练以用于具有不同类别流行度的目标域（[7]）。在此类场景中，EM算法通常作为子程序用于估计目标流行度，这些流行度随后被用于调整决策阈值、重新训练概率模型或校正后验概率。因此，改进EM在现实世界条件下的稳定性和准确性不仅对量化具有重要意义，也对分布偏移下的鲁棒分类具有影响。
EMQ算法存在实用性不稳定的问题。众所周知，其性能取决于分类器概率估计的质量（即校准）（[5]）。当分类器后验未经校准或存在偏差时，EM更新可能会过度调整或无法收敛，从而导致不可靠的流行度估计。实证研究（[6]）表明，EMQ仅在分类器校准良好时才能带来改进，即其预测概率能很好地逼近真实后验概率；随着后验估计质量的下降，EMQ可能会收敛得非常慢或完全无法收敛，其调整甚至可能降低准确性。此外，多项实验研究报告表明，即使在表面良好的校准条件下，EMQ仍可能表现不佳（[8]，[9]）。这种情况可能发生在校准方法无法很好地泛化到目标域时，或者引入了影响EM更新的新偏差。此外，在多类别场景中，问题可能会被放大，因为某一类的轻微校准错误可能会传播到其他类别，导致估计流行度出现振荡或扭曲。
这些问题导致了各种针对基本EM算法的改进方案被提出，以提高稳定性和准确性。示例包括在E步之前对分类器输出进行校准，或在M步中施加狄利克雷先验。除了这些之外，还可以从更广泛的机器学习文献中借鉴几种启发式方法，以进一步稳定EMQ。这些方法包括平滑后验分数、应用基于熵的正则化、阻尼连续的流行度更新，或在优化过程中选择性地使用置信测试样本子集。
本文的主要方法论贡献是一个统一的模块化框架，该框架从结构上将EMQ算法分解为E步后验变换和M步流行度更新规则。我们不再将上述稳定技术视为孤立的调整，而是提供了一个正式架构，专门针对先验概率偏移来适配并整合这些既有的机器学习启发式方法。通过解耦这些组件，我们能够系统地对多种修改方式如何影响EMQ在不同数据集上的收敛性和鲁棒性进行分类和全面评估。
本文其余部分组织如下：第2节回顾标签偏移下量化的理论基础，并介绍该情境下的EM算法。第3节介绍EMQ改进方式的分类体系，涵盖文献中的方法和本文提出的新颖启发式方法。第4节提出了一个统一框架，将EMQ形式化为模块化过程，从而实现对这些变体的系统性分析。第5节描述实验设置，并讨论不同启发式方法及其组合在多个数据集上的评估结果。最后，第6节总结结论并概述未来研究的有前景方向。

量化与先验概率偏移
量化是在假设目标域的条件类分布与源域相同的情况下，在无标签的目标数据集中估计类别分布 $Q(Y)$ 的任务，即 $Q(X|Y) = P(X|Y)$，同时类别先验分布发生变化，即 $Q(Y) \neq P(Y)$。这一假设被称为先验概率偏移或标签偏移。
与旨在为单个样本分配标签的标准分类不同，

增强基于EM的量化：一个统一的分类体系
EMQ在标签偏移下的性能会受到分类器预测质量和EM更新动态的显著影响。因此，一些改进方案被提出以提高算法的稳定性、收敛性和鲁棒性。这些增强通常针对E步或M步：在E步中，基于当前的流行度估计对分类器后验进行重新加权；在M步中，更新类别流行度。
本节介绍一个EMQ的统一框架
尽管现有修改看似多样化，但大多数EMQ的修改都可以理解为一种通用算法模板的实例化。在本节中，我们形式化了一个灵活框架，该框架将EMQ的两个关键组件分离：后验如何被变换以及流行度估计如何被更新。这种模块化视角不仅阐明了现有方法之间的关系，还促进了新变体的设计与实现。
设 $\mathcal{D}_T = \{x_1, \ldots, x_n\}$ 表示无标签的目标数据集。

实验
我们在几个标准基准数据集上评估了单个E步和M步启发式方法对EMQ的效果。数据集选自UCI库。本研究中所有数据集均为多类别，并且被广泛应用于量化（[21]，[22]）。本工作将评估明确限定在表格数据和标准浅层分类器上。在此领域，与深度学习任务不同，现代架构通常会产生高度可分离的特征。

结论
本工作提出了先验偏移下基于EM的量化（EMQ）的统一视角。长期以来，EMQ被认为是最有效且被广泛采用的量化方法之一，在该领域充当强大的基线。
我们将该算法分解为两个可互换的组件：一个重新加权的后验变换和一个流行度更新规则，这使我们能够在共同的模块化框架下重新诠释文献中现有的修改方式。

作者贡献声明
Pablo González：撰写—审阅与编辑，撰写—初稿，软件，调查，形式分析，概念化。Olaya Pérez-Mon：撰写—初稿，可视化，验证，方法学，概念化。Juan José del Coz：撰写—审阅与编辑，撰写—初稿，验证，监督，方法学，调查，概念化。

利益冲突声明
作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：Pablo Gonzalez报告获得了阿斯图里亚斯企业竞争力与创新科学局（Sekuens）在"2024年阿斯图里亚斯公国组织研究小组资助计划"（GRU-GIC-24-018）框架下的财务支持。Pablo Gonzalez与奥维耶多大学存在雇佣关系。如有……

致谢
本研究部分由西班牙科学、创新与大学部通过PID2025-167769NB-I00资助项目以及阿斯图里亚斯公国通过研究资助GRU-GIC-24-018支持。

Pablo González | Olaya Pérez-Mon | Juan José del Coz