基于结构化流形子空间的高阶相关熵标签分布学习新方法

本文提出一种创新的标签分布学习（LDL）框架LDL-MCE，通过最大相关熵（MCE）正则化整合结构化子空间聚类与高阶标签相关性度量，有效解决标签模糊性问题，在保持标签分布矩阵高秩特性的同时实现更紧凑且准确的输出空间建模，为多标签学习（MLL）和复杂标注场景提供新思路。

　　

亮点

本文的核心贡献可归纳为三方面：

• •

  1. 提出一种针对标签分布的高阶相关性度量方法，可自适应衰减大误差项。该度量天然对异常值和噪声不敏感，为实值标签分布相关性提供更鲁棒的编码机制。

• •

  2. 通过最大相关熵（MCE）正则化将标签子空间聚类整合至LDL框架中，实现模型预测与聚类过程的相互增强，从而获得更紧凑且准确的输出空间。此外，理论证明在独立子空间假设下，所得相关性矩阵具有块对角特性。

• •

  3. 在11个基准数据集上的大量实验表明，LDL-MCE持续优于最先进的LDL算法。

章节选段

标签分布学习

与传统机器学习范式不同，LDL将每个实例的标签建模为概率分布而非单一值，建立实例与标签间更真实灵活的关系。早期LDL方法常通过将问题转化为传统单标签或多标签学习任务来简化处理。近年来的进展则直接针对LDL问题本身求解，例如SA-IIS通过最大熵模型处理LDL。

问题描述

设??表示d维输入空间，??为标签空间。给定训练集??={(x⁽ⁱ⁾, y⁽ⁱ⁾)}_i=1^N。第i个实例x⁽ⁱ⁾被分配一个标签分布y⁽ⁱ⁾ = (y₁⁽ⁱ⁾, y₂⁽ⁱ⁾, ..., y_c⁽ⁱ⁾)，其中y_j⁽ⁱ⁾称为标签j对实例x⁽ⁱ⁾的描述度，满足y_j⁽ⁱ⁾ ≥ 0且∑_j=1^c y_j⁽ⁱ⁾ = 1。需注意，y_j⁽ⁱ⁾并非x⁽ⁱ⁾被正确标注为j的概率，而是j在完整描述x⁽ⁱ⁾中所占的比例。

遵循前人工作，采用最大熵模型学习标签分布，以确保模型输出符合概率分布特性。

数据集

实验在11个广泛使用的标注有标签分布的基准数据集上进行，其概况总结于表1。这些数据集覆盖多个领域：SJAFFE、SBU_3DFE和RAF_ML为面部表情数据集；Ren-Cecps为大规模中文情感语料库；M2B、SCUT_FBP和fbp5500涉及面部美感感知；Scene和Movie则由Geng从不一致标注场景中收集。

结论

LDL利用实值标签描述度表达标签的相对重要性，使其在处理标签模糊性任务中具有高度适用性。为缓解LDL庞大的输出空间，我们提出LDL-MCE，直接在标签分布流形上施加结构化子空间约束。具体而言，设计了一种鲁棒的高阶标签分布相关性度量。通过最大化相关熵，LDL-MCE同步预测标签分布并执行标签子空间聚类，实现相互增强。理论分析与实验验证均表明该方法的有效性。