基于预测驱动推理的半监督风险控制：突破小样本校准的保守性瓶颈

《IEEE Transactions on Pattern Analysis and Machine Intelligence》：Semi-Supervised Risk Control via Prediction-Powered Inference

本文针对机器学习模型风险控制中因标注数据有限导致的保守性和高方差问题，提出了一种新型半监督校准方法。研究人员通过整合未标注数据与预测驱动推理（PPI）框架，设计了能够严格控制风险（如误覆盖率）的预测规则。该方法在图像分类和早期时间序列分类等任务中验证了其有效性和优势，显著降低了校准过程的方差和保守性，为高风险应用中的可靠机器学习部署提供了新途径。

　　

在自动驾驶、医疗诊断等高风险领域，机器学习模型的可靠性至关重要。一个核心挑战是如何为模型的预测提供严格的风险控制保证，例如确保预测集以至少90%的概率覆盖真实标签。风险控制预测集（RCPS）框架是解决这一问题的有力工具，它利用留出的标注校准数据来调整一个影响预测规则错误率的超参数。然而，当标注数据有限时，校准过程会变得不稳定，导致风险控制过于保守，预测规则在不同运行间差异显著。这种小样本问题在针对特定子群体（如特定年龄段或种族）进行风险控制或进行小样本学习时尤为突出。如何利用大量易获取的未标注数据来突破这一样本量瓶颈，同时不牺牲统计有效性，成为亟待解决的问题。

为此，来自以色列理工学院的研究团队在《IEEE Transactions on Pattern Analysis and Machine Intelligence》上发表了题为“Semi-Supervised Risk Control via Prediction-Powered Inference”的研究论文。该研究创新性地将预测驱动推理（PPI）框架与风险控制任务相结合，提出了一种半监督校准程序，能够利用未标注数据来更高效地调整超参数，同时保持严格的分布无关风险控制保证。

研究团队首先证明了原始的RCPS框架实际上能够控制非单调风险函数，这扩展了其原有仅适用于单调风险的理论范围。在此基础上，他们提出了两种主要的半监督风险控制方法。第一种是针对一般损失函数的通用方法，其核心是构建一个预测驱动的风险估计量 R^PP(q)。该估计量结合了在大量未标注数据上使用预测标签计算的经验风险 R^U(q)，以及一个在小样本标注数据上计算的校正项 R^rect(q)，用于修正预测标签可能带来的偏差。通过对这个估计量应用合适的浓度不等式（如Waudby-Smith-Ramdas界）来构建风险的上置信界（UCB），从而严格地选择超参数 q^。第二种方法是专门为实践中常见的二值损失（如分类任务中的0-1损失）设计的。该方法利用了损失函数的二值特性，通过裁剪操作和精确的Clopper-Pearson置信界来构建风险的上界，通常在样本量极小时能获得更紧致的界。

主要技术方法

研究主要基于预测驱动推理（PPI）框架，利用未标注数据的预测标签构建风险估计量，并通过浓度不等式（如WSR界、Clopper-Pearson界）或中心极限定理（CLT）推导风险的上置信界（UCB），从而在有限样本或渐近意义上实现风险控制。实验部分使用了ImageNet数据集进行小样本图像分类，以及IMDb电影评论数据集进行早期时间序列分类，利用预训练模型（Resnet50, Phi-3-Mini-LLM）生成预测标签和分数。

研究结果

1. 小样本图像分类实验

研究在ImageNet数据集上评估了不同校准方法在控制预测集误覆盖率（目标α=0.15）方面的表现。结果显示，当标注校准样本量很小时（如n=130），传统的仅使用标注数据的RCPS方法（RCPS lab）虽然能有效控制风险，但其覆盖率的方差较大，且表现保守（实际覆盖率远高于85%）。而提出的半监督方法，特别是针对二值损失的SS-RCPS BIN，在保持有效性的同时，显著降低了覆盖率的方差和保守性，从而产生了更小、更精确的预测集。相比之下，直接使用预测标签来扩充校准数据的朴素方法（RCPS imp）则由于未校正预测误差而导致了无效的风险控制。研究还发现，当预测标签的准确性提高时，半监督方法带来的益处更加明显。

2. 早期时间序列分类实验

在自然语言处理任务中，研究旨在通过早期停止大型语言模型（LLM）的推理过程来节省计算资源，同时控制完全处理与部分处理文本之间的准确性差距风险 Rgap≤t(q)。实验结果表明，在标注数据有限（n=300）时，专门针对二值损失的半监督方法（SS-RCPS BIN）相比传统RCPS方法，能够在更早的时间步实现停止，且控制了条件准确性差距。当标注数据量增大（n=4000）时，针对一般损失的半监督方法（SS-RCPS WSR）表现更优，实现了更早的停止时间。所有有效方法均满足了风险控制要求。

结论与意义

本研究提出的半监督风险控制方法成功地将预测驱动推理（PPI）框架融入风险控制预测集（RCPS）的校准过程，突破了传统方法对大量标注数据的依赖。理论分析和实验验证表明，该方法在预测模型相对准确时，能显著降低校准过程的方差和保守性，产生更紧凑、更稳定的预测规则；即使在预测不准确的情况下，也能保持风险控制的统计有效性。这项工作为在高风险应用中更高效、更可靠地部署机器学习模型提供了新的技术路径，特别是在标注数据获取困难或成本高昂的场景下，如小样本学习、子群体风险控制以及资源受限的序列决策任务中，具有重要的应用价值。未来的研究方向包括开发更高效的插补策略、处理分布偏移问题以及进一步优化针对特定损失函数的风险上界构造方法。