有序分类中多距离融合的模糊测度学习

《TRENDS IN FOOD SCIENCE & TECHNOLOGY》：Learning Fuzzy Measures for Multi-Distance Fusion in Ordinal Classification

　　

- 提出一种用于有序分类的非加性多距离融合框架。
- 从有序三元组排序约束中学习模糊测度。
- 开发具有自适应加权与有序代价最小化的预测规则。

引言

有序分类旨在预测具有固有顺序的离散标签。与名义分类不同，有序标签并非相互独立的类别，而是遵循自然的排序结构。因此，不同的预测误差可能对应不同的实际代价。例如，在葡萄酒质量评估中，将真实等级为6的样本预测为5级，比预测为3级要轻微得多。此类任务在产品品质评估、疾病严重程度评估、信用风险分析、教育测量、用户满意度分析以及医疗决策支持中十分常见。因此，有效的有序分类模型应关注保持标签的排序结构并减少严重的有序误差（例如，通过最小化MAE损失），而非仅追求分类准确率，后者将所有误差同等对待[1]。

现有有序分类研究主要沿几条路线发展。一种常见策略是将有序问题转化为多个二分类任务，从而可以在利用类别标签顺序信息的同时使用标准分类器[2]、[3]。另一条经典路线假设一个潜在的实值分数，并通过有序的阈值将其映射到有序标签上，包括比例优势有序回归[4]、大间隔排序公式[5]、阈值损失公式[6]、[7]以及具有多个有序阈值的支持向量有序回归[8]。近期研究从不同角度进一步拓展了有序学习，例如用于有序不确定性的软标签正则化[9]、区间值有序分类[10]、相对间隔支持向量有序回归[11]、统一的深度有序分类实现[12]以及深度分类器的有序层级约束[13]。此外，建模样本间关系的方法利用了样本之间的相对关系。例如，可以从绝对信息、相对信息以及无标注数据中学习距离度量用于有序分类[14]。尽管这些研究大幅改进了有序分类，但样本间异构几何关系的表示与融合仍有待深入探索。

在基于距离的学习中，距离度量的选择直接影响用于学习和预测的局部邻域结构。不同的距离侧重于样本差异的不同方面。例如，欧氏距离和曼哈顿距离主要描述绝对坐标差异，Canberra距离和Bray-Curtis距离对相对或组成变化更为敏感，而余弦距离则侧重于方向差异。因此，当数据的局部结构受到多种几何信息影响时，仅依赖单一距离可能不够充分。多距离融合提供了一种自然地组合此类信息的方式。近期关于距离组合模糊C均值的研究也表明，结合距离信息对高维大数据分类是有益的，因为它减少了对单一距离定义的依赖并提高了模糊聚类分类器的适应性[15]。然而，多距离组合方法在有序分类中的应用仍有待深入探索。受此启发，本文考虑了一种基于模糊积分的多距离融合模型。

Choquet积分提供了一种基于模糊测度的灵活聚合机制。与普通加权和不同，模糊测度不仅为单个信息源赋值，也为它们的子集赋值，从而使聚合过程能够以非加性的形式描述个体与联合贡献。在分类问题中，Choquet聚合已被用于不同方式。Barrenechea等人将Choquet积分引入模糊规则分类系统以聚合规则信息并为不同类别学习合适的模糊测度[16]。Choquet模糊积分也被用于组合集成学习中多个分类器的输出[17]。最近，模糊粗糙Choquet距离被开发用于基于距离的分类，表明Choquet距离构造可以直接与最近邻学习相联系[18]。这些研究表明，模糊测度和Choquet聚合是建模多个分类信息源之间交互的理想工具。

受上述研究的启发，我们提出了一种名为OrdiChoquet-Fusion的有序分类方法。该方法在有序三元组排序约束下学习基于Choquet积分的融合距离。具体而言，对于每个锚定样本，鼓励具有较近有序标签的样本具有比具有较远有序标签的样本更小的融合距离。在模糊测度的单调性、边界和范围约束下，模糊测度学习被表述为一个线性规划问题。在预测阶段，学到的融合距离被嵌入有序最近邻决策规则中，其中使用自适应距离加权与有序代价最小化来预测最终类别标签。

本文的主要贡献总结如下：

- 为有序分类提出了一种非加性多距离融合框架。它整合了来自不同几何视角的五种基础距离，并使用模糊测度与Choquet积分来描述不同距离分量的个体效应与联合效应。
- 从标签空间中的相对接近关系构建了有序三元组排序约束，并将模糊测度学习表述为一个线性规划问题。
- 在31个公开有序分类数据集上的实验（包括若干相对高维的数据集）表明，所提方法在ACC、MAE、C-index、BA、AMAE、Kendall's τ和MMAE方面均取得了具有竞争力且稳定的性能。

本文其余部分组织如下：第2节介绍预备知识。第3节给出所提的OrdiChoquet-Fusion模型。第4节报告实验结果与分析。最后，第5节总结全文。

章节摘要

预备知识

本节介绍所提模型中使用的符号和数学工具。我们首先通过标签对距离和样本相对关系将有序分类形式化。然后回顾模糊测度和离散Choquet积分，它们为非加性距离融合提供了数学基础。全文中，对于有限集S，??(S)表示S的幂集。

所提的OrdiChoquet-Fusion模型

本节给出所提的OrdiChoquet-Fusion模型。该模型为每个样本对构造若干归一化的基础距离，利用可学习的模糊测度下的Choquet积分对其进行聚合，并从有序三元组关系中估计模糊测度。学到的融合距离随后被用于有序最近邻预测规则。

数据集与预处理

为系统评估所提方法在不同有序分类场景中的适用性，本研究使用了31个公开数据集。这些数据集在样本规模、特征维度和有序等级数量上存在显著差异。

结论

本文提出了OrdiChoquet-Fusion，一种用于有序分类的非加性多距离融合方法。该方法构造了五种互补的基础距离，包括欧氏距离、曼哈顿距离、Canberra距离、Bray-Curtis距离和余弦距离，并在统一的标准化方案下进行。随后利用Choquet积分结合模糊测度对这些距离进行聚合，从而实现非加性融合，既能捕捉各距离分量的个体贡献，也能捕捉距离之间的交互作用。

作者贡献声明

Rui Xi：原创草稿撰写、验证。Liang Xie：审阅与编辑。Bo Wen Fang：审阅与编辑、监督、方法学。

利益冲突声明

作者声明不存在任何已知的可能影响本文所述工作的竞争性财务利益或个人关系。

Rui Xi | Liang Xie | Bo Wen Fang