面向开放意图分类的结构化知识引导复杂噪声处理

《Neural Networks》：Structural Knowledge-Guided Complex-Noise Handling for Open Intent Classification

　　

摘要

开放意图分类旨在将已知意图分配给相应的类别，同时识别未知意图。其成功在很大程度上依赖于准确标注的数据。然而，现实世界中的数据往往包含分布内 (IND) 噪声和分布外 (OOD) 噪声，这会降低模型性能。尽管取得了最新进展，但在如此复杂噪声场景下的开放意图分类仍未得到充分探索。此外，现有的噪声处理方法面临几个限制：1) 它们通常依赖于有限的类级别信息，如原型，进行噪声检测，忽视了类内结构特征；2) 它们通常采用全局标准进行样本选择；3) 它们往往忽略 OOD 噪声在训练中的潜在价值。这些局限性降低了噪声检测准确性，阻碍了表示学习。为了解决这些挑战，我们提出了一种结构知识引导的开放意图分类复杂噪声处理方法 (CNOIC)。具体来说，我们引入结构知识表示，通过球粒捕获每个类的结构特征。此外，我们设计了从球粒属性衍生的结构引导标准，以区分干净样本、IND 噪声和 OOD 噪声。此外，我们提出了一种开放空间感知的表示学习策略，利用 OOD 噪声原型作为未知占位符，有效地扩展了未知空间。在三个数据集上的实验验证了我们所提方法的有效性。CNOIC 的源代码可在以下位置获取： https://github.com/Liyanhuaa/CNOIC

引言

传统意图分类方法仅限于分类训练期间遇到的预定义已知类别。在实际应用中，用户输入可能包含不属于预定义已知类别集的意图。因此，模型检测此类未知意图至关重要。开放意图分类 (OIC) (Wang, Wang, Liu, Ouyang, Li, Zhang, Yang, 2025, Zhang, Xu, Lin, 2021b) 解决了这一需求，要求模型在分类预定义已知类别的同时同时识别未知项。近期进展集中在两个主要方向：1) 通过添加一个额外的未知意图类别直接训练 $\left(K\text{+}1\right)$ 分类器 (Cheng, Jiang, Yin, Wang, Gu, 2022, Zheng, Chen, Huang, 2020)，以及 2) 采用 K 分类器结合异常检测机制来检测未知项 (Liu, Li, Mu, Yang, Xu, Wang, 2023, Zhang, Xu, Zhao, Zhou, 2023a)。

尽管现有开放意图分类方法取得了令人满意的进展，但它们严重依赖于具有高质量标注的大规模数据集。然而，在实际应用中，数据集往往含有噪声，因为创建此类精心标注的数据集既费时又费力。如图 1 所示，训练数据通常包含三种类型的样本：干净样本、分布内 (IND) 噪声（其中预定义已知类别意图被错误标记为其他已知类别）和分布外 (OOD) 噪声（其中外部意图被错误标记为已知类别）。为了说明这些样本类型，考虑一个金融场景，已知类别如贷款和转账。干净样本被正确标记（例如，“我想申请贷款”被标记为贷款），IND 噪声样本在已知类别内被错误标记（例如，“把钱转到我的账户”被标记为贷款），而 OOD 噪声样本来自分布外但被错误地分配给已知类别（例如，“今天天气怎么样？”被标记为转账）。此外，OOD 噪声可能源自其他数据集 (Far-OOD) 或源自同一数据集中语义相关但未见过的意图 (Near-OOD)。重要的是，OOD 噪声的真实标签与测试期间遇到的未知类别不同。在大多数现实场景中，IND 噪声和 OOD 噪声往往共存 (Zhang et al., 2024)，我们称之为复杂噪声。这种复杂噪声对开放意图分类构成了重大挑战，因为它可能导致严重的过拟合并降低模型的泛化性能 (Zhang et al., 2021a)。之前关于噪声意图分类的研究主要集中在封闭世界设置上 (Ahmed, Wen, Ao, Pan, Su, Cao, Liu, 2024, Cheng, Chen, Ming Sheng, Xie, Qu, 2023)，这些研究关注在 IND 噪声下增强已知意图分类。最近，一项研究开始探索伪标签噪声下的开放意图分类 (Kim et al., 2022)，但它并未明确建模 IND 和 OOD 噪声的共存。在训练期间处理复杂噪声并在测试期间识别已知和未知意图的挑战仍未得到充分探索。

此外，其他现有噪声处理方法表现出几个共同局限性。首先，由于对噪声具有鲁棒性，类原型通常用作噪声标签学习中的类级别知识 (Zhang et al., 2025c)。然而，这些原型仅捕获位置知识，忽视了类的其他结构特征，使得基于距离的噪声识别变得困难。其次，样本选择方法被广泛用于区分干净样本和噪声。现有方法通常依赖统一的选择标准，如距离 (Zhang et al., 2025c) 或概率 (Yao et al., 2021) 的固定阈值。这些粗粒度的全局标准未考虑类间差异，难以微调，且不适合现实世界数据。第三，当前噪声标签学习方法通常认为 OOD 噪声有害并在训练期间丢弃它 (Wu et al., 2021)。然而，OOD 噪声可以作为开放意图分类中的宝贵资源，在表示学习中充当未知类别的占位符。如果不纳入 OOD 噪声，仅基于已知类别训练模型倾向于用已知特征饱和表示空间，不给未知类别留余地，导致其在测试期间被误分类为已知。

鉴于缺乏关于复杂噪声下开放意图分类的研究以及现有噪声处理方法的局限性，我们提出 CNOIC，一种结构知识引导的开放意图分类复杂噪声处理方法 (CNOIC)。首先，我们采用球粒聚类 (Xia et al., 2019a) 用多个球粒编码所有表示，我们在之前的工作 (Li et al., 2025b) 中证明这可以忠实地捕获真实的类分布。通过利用这些球粒的多维属性，我们捕获已知类别的位置和结构知识，从而更全面地表征其潜在结构。接下来，我们提出结构知识引导的噪声识别模块。该模块利用获取的基于球粒的结构知识，建立针对球粒的具体标准以区分干净样本、IND 噪声和 OOD 噪声，从而降低对所有样本应用单一阈值所带来的错误风险。此外，我们提出开放空间感知的表示学习模块，在表示学习中将 OOD 噪声原型作为未知类别的占位符。该策略使学习到的表示能够收缩已知空间并扩展未知空间，这有助于提高开放意图分类。最后，在推理期间，我们采用多个球粒决策边界进行开放分类。我们的主要贡献总结如下：

• •
  我们提出了 CNOIC，一种用于复杂噪声下开放意图分类的统一框架。该框架利用球粒聚类推导结构知识，用于引导噪声识别和表示学习。
• •
  我们设计了一种结构知识引导的噪声识别策略，利用从球粒属性中衍生的结构知识来区分干净样本、IND 噪声和 OOD 噪声，克服了全局阈值的局限性。
• •
  我们设计了一种开放空间感知的表示学习策略，使用 OOD 噪声原型作为未知类别的代理，促进已知和未知空间之间的平衡分离，并增强对新类别的检测。

章节摘要

相关工作

本节详细回顾了与我们任务相关的现有方法，包括开放意图分类、噪声标签学习和球粒计算。

预备知识

在本节中，我们介绍了球粒的基本概念，并提出了复杂噪声下开放意图分类的形式化问题设置。

方法论

本节介绍了 CNOIC 的总体方法论。我们首先描述框架架构，然后详细介绍其三个核心模块，包括结构知识表示、复杂噪声识别和开放空间感知的表示学习。最后，我们提出了所提方法的推理机制和总体算法流程。

实验

在本节中，我们进行了综合实验以评估所提出的 CNOIC 方法。我们首先介绍实验设置，随后展示了各种噪声条件和开放设置下的广泛结果。最后，进行了消融研究和参数分析，以进一步验证所提方法的有效性和鲁棒性。

结论

这项工作提出了一种新的尝试，以解决涉及 IND 和 OOD 噪声的复杂噪声条件下的开放意图分类问题。首先，所提出的结构知识表示模块捕获了已知类别的丰富且鲁棒的信息，有效缓解了噪声的影响。基于此知识，开发了一种结构知识引导的噪声识别策略，以准确识别和区分各种类型的噪声。此外，一种开放空间感知的

未引用参考文献

Qiao et al. (2022)

CRediT 作者贡献声明

Yanhua Li: 撰写 – 审阅与编辑，撰写 – 初稿，可视化，验证，软件，方法学，概念化。Xiaocao Ouyang: 方法学，概念化。Jie Zhang: 软件，调查。Chaofan Pan: 撰写 – 审阅与编辑，方法学，概念化。Lingfei Ren: 可视化，验证。Xin Yang: 撰写 – 审阅与编辑，指导，方法学，经费获取。

利益冲突声明

作者声明他们没有任何已知的竞争性经济利益或个人关系，这些利益或关系可能会影响本文报告的工作。

致谢

本工作得到国家自然科学基金 (项目编号：62476228, 62406259, 62506308)、四川省科技计划 (项目编号：2026NSFSC1475)、成都市科学技术局项目 (项目编号：2025YF1200030RC) 以及中央高校基本科研业务费 (项目编号：JBK2507011, JBK202511005, JBK202511053) 的支持。

Yanhua Li|Xiaocao Ouyang|Jie Zhang|Chaofan Pan|Lingfei Ren|Xin Yang