MORCU：基于边际的序数分类方法，结合动态正则化技术用于校准和单峰性处理

《Pattern Recognition》：MORCU: Margin-based ordinal classification with dynamic regularization for calibration and unimodality

置信校准与动态正则化结合的有序分类模型MORCU提出，通过动态温度调整和目标保留的边距惩罚提升校准效果，在多个数据集上验证了其分类性能与校准能力的平衡。

　　

金大焕|钟海俊|张益范

汉阳大学人工智能与半导体工程系，韩国首尔城东区旺辛尼路222号，邮编04763

摘要

置信度校准对于准确可靠的序数分类至关重要，然而它仍然被大大忽视了，现有的校准研究很少解决有序类别标签所带来的独特挑战。我们提出了基于边际的序数分类与动态正则化校准及单峰性方法（MORCU）。该方法结合了动态对数障碍正则化来强制概率分布的结构化，并引入了新的目标保持边际惩罚（TPMP）机制，以细化相邻的非目标logits，从而促进校准和单峰性的实现。通过自适应平衡结构约束和置信度估计，MORCU能够减轻过度自信和信心不足的问题，产生与序数关系一致的校准概率分布。在多种基准数据集上的实验结果表明，该方法具有稳定的校准效果和竞争力的序数分类性能，非常适合需要预测准确性和可信置信度估计的应用。

引言

置信度校准在深度学习中对于可靠的预测至关重要，特别是在医疗诊断和风险评估等高风险应用中，因为良好的校准概率估计会直接影响决策[1]。尽管在传统分类模型的校准方面已经取得了相当大的进展[2],[3],[4]，但对于具有内在顺序的序数分类（如疾病严重程度评估或年龄估计）的校准仍然研究不足。在这些任务中，预测必须既准确又具有结构一致性，理想情况下应形成以正确类别为中心的单峰分布。然而，序数分类中校准不当的置信度估计会导致不可靠的不确定性量化，从而削弱了对模型预测的信任并限制了其在关键决策中的应用。这些挑战需要校准技术，这些技术能够明确纳入序数关系，同时确保置信度估计准确反映正确性的可能性。然而，针对有序标签的显式校准机制仍然有限，因此在序数结构下进行可靠置信度估计的问题尚未得到充分解决。

使用交叉熵损失的标准训练可以优化分类准确性，但无法调节置信度估计，往往导致过度自信的预测[5]。这种限制在序数分类中尤为明显，因为标签遵循自然顺序。依赖于独热编码的目标忽略了序数关系，将所有错误类别同等对待，从而加剧了过度自信。现有的校准方法主要针对传统分类任务，缺乏保持序数结构的机制。相反，序数分类方法强制排名一致性[6],[7],[8]，但很少考虑置信度校准，导致结构化但不可靠的预测。最近尝试将校准集成到序数分类中的方法[9]引入了基于正则化的策略，但这些方法施加的固定约束可能无法充分适应不同的置信度分布。需要一种更灵活的策略——能够在保持序数一致性的同时动态调整校准，确保可靠的置信度估计和结构化的概率分布。总之，现有方法要么在校准过程中忽略序数结构，要么依赖于无法适应实例特定不确定性的固定约束。

为了解决这些挑战，我们提出了基于边际的序数分类与动态正则化校准及单峰性方法（MORCU），这是对ORCU[9]的扩展，通过自适应正则化改进了序数校准。MORCU在对数障碍框架内引入了一个动态温度参数，从而在整个训练过程中可控地施加单峰性约束。我们还引入了一种新的目标保持边际惩罚（TPMP），通过选择性地阻止已经有序的非目标相邻logits过度分离，从而改善了序数结构中的置信度估计。

我们在多个领域的多种公共图像数据集上进行了全面评估。实验结果表明，MORCU在保持序数一致性的同时，一致性地提高了校准效果，并在分类指标上具有竞争力，实现了更精确的置信度估计。通过自适应调节置信度估计和序数约束，MORCU增强了预测的可靠性和结构一致性，确保了序数分类中校准良好且可解释的概率分布。

贡献。我们做出了以下关键贡献：

• •
  我们提出了MORCU，这是一种新颖的ORCU扩展，将固定的单侧序数正则化转变为动态的双侧局部正则化，通过细化相邻的非目标logits来确保概率分布反映序数关系，从而改进了置信度校准。
• •
  我们设计了TPMP损失，这是一种新提出的正则化项，选择性地调节非目标相邻logits之间的过度分离，引入了一个目标保持的软上限，从而提高了校准的稳定性。
• •
  我们在基于对数障碍的正则化框架内引入了动态温度调整策略，该策略在训练过程中逐步放宽了对有序相邻间隙的隐含下限，同时自适应地施加单峰性约束，从而增强了校准的鲁棒性。

相关工作

相关工作

鉴于在有序标签下需要可靠的置信度估计，我们回顾了基于目标函数的校准方法、用于施加约束的对数障碍正则化以及序数回归中的校准相关工作。

预备知识

校准。给定一个数据集${\{(x_n,y_n)n\}}_n^{}$及其标签$y_n\in \{1,\; \dots ,C$，分类模型预测一个概率分布${\stackrel{?}{y}}_n=[{\stackrel{?}{y}}_n,\; \dots ,\stackrel{?}{y}n,C$。这些概率通常是通过将softmax函数应用于logit向量得到的：。如果对于任何预测的置信度分数（即预测类别的softmax概率），正确预测的比例

数据集

我们在五个涵盖多个领域的公开可用的序数回归数据集上评估了我们的方法。Adience数据集[28]包含17,423张面部图像，分为八个年龄组，我们遵循官方的五折交叉验证协议[1]。同样，Image Aesthetics（IA）数据集[29]包含13,364张Flickr图像，这些图像被标记为五个美学质量等级，我们采用了80/20的训练-测试划分

整体校准性能

主要结果。MORCU在所有评估的数据集中都一致地实现了更好的序数校准（表2），通过平衡置信度灵活性和结构化正则化。动态温度参数$t_e$在${\text{L}}_{\text{dyn}}^{}\left(t_e\right)$防止了对模型表达力的过度限制，允许在校准过程中进行调整。同时，提出的${\text{TPMP}}_{}$选择性地惩罚非目标相邻logits之间的过度分离，减少了不必要的

讨论

第5.1节整体校准性能、第5.2节分类性能、第5.3节事后校准分析和第5.4节消融研究的结果共同表明，MORCU不仅仅是一种更强的序数正则化形式，而是将ORCU从固定的单侧下限正则化扩展为动态的双侧局部正则化，用于条件化的相邻序数间隙。在这种公式中，${\text{L}}_{\text{dyn}}^{}\left(t_e\right)$逐步放宽了

结论

我们提出了MORCU，这是一种用于序数分类的损失级方法，它结合了软序数监督、动态对数障碍正则化和对非目标相邻间隙的目标保持上限惩罚。通过结合自适应的下限约束和选择性控制非目标过度分离，MORCU改进了置信度校准，同时保持了单峰性和有竞争力的序数预测性能。在五个公共图像数据集上，

CRediT作者贡献声明

金大焕：撰写 – 审稿与编辑，撰写 – 原稿，可视化，验证，软件，方法论，调查，形式分析，数据整理。钟海俊：撰写 – 审稿与编辑，资源获取。张益范：撰写 – 审稿与编辑，监督，资源获取，方法论，资金获取，形式分析，概念化。

写作过程中使用生成式AI和AI辅助技术的声明

在准备这项工作时，作者使用了ChatGPT来提高语法精度和句子清晰度。使用该工具/服务后，作者根据需要审查和编辑了内容，并对出版物的内容负全责。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

致谢

作者感谢Moon Junho和Yang Jiwoong在手稿准备过程中提供的宝贵反馈。这项工作得到了韩国国家研究基金会（NRF）（由科学技术信息通信部（MSIT）资助的项目（RS-2024-00455720）、国家健康研究所（NIH）的研究项目（2024ER040700 & 2025ER040300）以及国家超级计算中心（KSC）提供的超级计算资源和技术支持（KSC-2024-CRE-0021 & KSC-2025-CRE-0065）的支持。