通过自适应核密度估计实现具有成本意识的AUC优化

《IEEE Transactions on Pattern Analysis and Machine Intelligence》：Cost-aware AUC Optimization via Adaptive Kernel Density Estimation

成本意识AUC优化模型通过凸松弛解决非凸内问题，采用自适应核密度估计替代显式阈值分布，结合有限差分法实现无显式聚合函数的优化，理论收敛速率为O(ε??)，经多数据集验证有效。

　　

摘要：

接收者操作特征曲线（Receiver Operating Characteristics Curve，AUC）下的面积是一个广泛用于评估模型在所有可能决策阈值下性能的指标。现有的AUC优化方法通常假设阈值遵循某种预定义的参数分布。然而，最优决策阈值实际上取决于误分类成本，而这些成本遵循的是非参数分布。这促使我们引入了一种称为“成本感知AUC”（Cost-aware AUC，简称CAUC）的AUC变体，在这种变体中，阈值是根据经验确定的成本分布来设定的。不幸的是，作为一个双层问题（bilevel problem），直接优化CAUC是具有挑战性的：1）寻找最优阈值的内层问题是非凸的，可能导致收敛性问题；2）外部问题涉及到假阳性率（False Positive Rate，FPR）关于阈值的导数计算，而在没有明确阈值分布的情况下，这种导数是无法获得的。为了解决第一个挑战，我们采用了凸松弛技术将内部问题转化为凸问题。针对第二个挑战，我们提出了一个自适应核密度估计框架。具体来说，FPR的导数被视为多种核函数的叠加结果。为了避免手动设计聚合函数，我们提出了一种基于有限差的随机算法来优化模型，而无需显式的聚合函数。理论上，所提出的算法具有O(??4的收敛速率。在各种数据集和成本分布上的实证研究证明了我们框架的有效性和可靠性。