OpenEnhancer：一种基于多特征融合的开放集学习网络

《Neural Networks》：OpenEnhancer: An Open-set Learning Network via Multiple Feature Fusion

　　

摘要
多特征融合网络通过整合多样特征来增强预测性能，但它们面临着两个需要进一步探索的关键挑战。首先，大多数研究专注于已知闭集类别内的特征融合，忽视了具有未知类别的更具实际意义的开放集场景。其次，这些方法经常遇到适应性冲突，包括手工特征中因捕获不准确模式而导致的表达性限制、深度特征中因过度适应训练数据而导致的过度适应，以及混合特征场景中的特征层次不一致挑战。为了解决这些挑战，我们提出了 OpenEnhancer，通过多特征融合来改善开放集学习。我们引入了一种伪未知机制和特征特定稀疏学习层，构成了增强型特征特定稀疏模块，更好地适应开放集场景并缓解表达性限制和过度适应等适应性冲突。处理后的特征使用多特征注意力融合模块进行集成，进一步缓解了特征层次不一致带来的挑战。最后，我们采用一种开放集损失机制，以减少模型接触未知类别时已知类别的虚假置信度，从而提高识别准确率。多特征数据集上的开放集模拟实验表明，OpenEnhancer 不仅实现了强大的识别性能，还有效缓解了适应性冲突。数据集和源代码已公开，以确保可复现性：https://github.com/dushide/OpenEnhancer.

引言
人工智能显著改变了包括图像和语音识别 (Fei et al., 2025)、自然语言处理 (Ke et al., 2025) 等在内的各个领域。这场革命主要归功于其从多样数据源中学习的能力，包括手工特征和深度特征，从而增强了模型的准确性和鲁棒性 (Kou et al., 2025)。在此背景下，特征融合网络作为一种重要策略出现，结合不同的特征类型以利用其互补优势。这种方法在图像分类 (Han et al., 2024) 和目标检测 (Song et al., 2024) 等复杂场景中尤为有益，在这些场景中，依赖单一特征类型可能无法捕获所有相关信息。

尽管有这些好处，当前的多特征融合方法主要集中在闭集场景 (Shen et al., 2024) 上，其中训练和测试数据集包含相同的类别。然而，在现实世界的应用中，模型经常面临开放集场景，即测试期间出现以前未见类别的样本。这些场景带来了重大挑战，因为模型不仅必须识别已知类别，还必须检测并适当管理未知类别。因此，解决开放集场景中的融合模型需要克服两个主要挑战。障碍一：闭集局限性。大多数现有融合方法是为闭集识别定制的，使其不足以管理未知类别。障碍二：适应性冲突。在本工作中，适应性冲突是指不同特征表示的内在属性与开放集识别要求之间的不匹配。具体而言，开放集识别要求模型保留已知类别的判别信息，同时避免将未知样本过度自信地分配给任何已知类别。然而，不同的特征类型可能以冲突的方式响应这一要求：1) 手工特征，源于固定规则、统计方法或专家知识，通常提供稳定和通用的表示。然而，它们可能遭受表达性限制，意味着其固定描述符可能无法捕获开放集分离所需的复杂语义模式和细微的类间变化；2) 深度特征，从预训练深度网络中提取，通常包含丰富的语义信息，对已知类别具有高度判别性。然而，它们可能遭受过度适应现象，意味着学习到的表示可能过度适应已知训练分布，从而将已知类别的高置信度分配给未知样本；3) 当多个特征结合时，可能出现特征层次不一致。这意味着不同的特征类型在不同的语义级别或粒度上描述样本，使其直接融合变得困难。对于多个手工特征，这种不一致通常源于每个特征捕获的信息类型多样。例如，SIFT (Lowe, 2004) 专注于边缘细节，HOG (Dalal and Triggs, 2005) 捕获形状特征，而 LBP (Ojala et al., 2002) 强调纹理信息。对于多个深度特征，这种不一致通常源于不同的特征粒度。例如，DECAF (Donahue et al., 2014) 和 VGG-19 (Simonyan and Zisserman, 2015) 分别捕获中间和高级语义特征，而像 Swin Transformer 和 BERT (Devlin et al., 2019) 这样的模型则专门用于视觉和文本语义。在混合情况下，这种不一致源于不同的特征级别，手工特征通常在高维空间捕获低级信息，而深度特征在中等维空间传达更高阶的语义。这些不一致可以统称为特征层次不一致。

为了解决这些问题，我们提出了 OpenEnhancer，一种通过多特征融合增强的开放集学习网络，以改善开放集识别并缓解适应性冲突。如图 1 所示，该框架由四个模块组成。(i) 为了更好地适应开放集场景，我们引入了伪未知样本生成机制，如图 1 的浅灰色部分所示，在训练期间模拟未知类别，以帮助模型区分已知和未知数据。(ii) 我们引入了特征特定稀疏学习层，以解决不同特征类型带来的适应性冲突，如图 1 的淡黄色部分所示。通过鼓励特征的稀疏性，该层增强了高效的特征选择并最大限度地减少了对特定训练数据的过度适应，这对于改善模型在各种特征类型上的适应性至关重要。(i) 和 (ii) 共同构成了提出的增强型特征特定稀疏模块。(iii) 我们采用多特征注意力融合模块，如图 1 的淡粉色部分所示。该模块计算每种特征类型的重要性分数，有效解决了处理后的特征中的特征层次不一致问题。(iv) 此外，我们实施了一种开放集损失机制，如图 1 的玫瑰红色部分所示，以减少面对未知样本时已知类别的虚假置信度，增强模型识别和处理未知数据的能力。

我们基于 openess 概念，使用各种手工特征、深度特征及其混合形式，在多特征数据集上进行了广泛的实验。结果表明，OpenEnhancer 在识别性能上优于现有方法，并有效缓解了适应性冲突。我们的目标是建立一个统一的开放集融合增强学习框架，用于涉及已知和未知类别混合特征类型的场景，为多特征融合网络及其在开放集环境中的应用提供新的见解。本文的主要贡献有三点：
• 我们提出了 OpenEnhancer，一种通过多特征融合的开放集学习框架，以改善开放集识别并缓解适应性冲突。
• 我们设计了增强型特征特定稀疏模块和多特征注意力融合模块，以有效集成处理后的特征，并采用开放集损失机制以确保对未知样本的稳健识别。
• 我们在多种多特征数据集上进行了广泛的实验，以验证 OpenEnhancer 相比现有方法在识别性能和缓解适应性冲突方面的优越性。

本文的其余结构安排如下。在第 2 节中，我们介绍了关于多特征融合和开放集学习的相关工作。在第 3 节中，提出了整体 OpenEnhancer 网络。在第 4 节中，在多特征数据集上进行实验以验证有效性。

章节片段
相关工作
在本节中，我们提供了相关工作的全面概述，突出了多特征融合网络和开放集学习的关键进展，这些构成了所提出方法的基础。

提出的框架：OpenEnhancer
符号说明。在下文中，所有小写粗体字母表示向量，大写粗体字母表示矩阵，所有数据均已归一化。具有 V 种特征类型的整个多特征数据集表示为 ????????????????=????????????????∪????????????????∪?????????????。原始多特征样本表示为 ?????????????????????????={{?????∈?????×????}????=1,???}，其中 ???∈{1,…,??}????，C 是已知类别的数量，No 是原始样本的数量，Dv 是第 v 个特征类型的维度。未知样本仅出现

实验设置
测试数据集。我们选择了六个知名数据集，每个数据集表现出三种适应性冲突类型之一，以展示 OpenEnhancer 的有效性和合理性。
1) 手工特征数据集用于评估 OpenEnhancer 是否能缓解表达性限制：NoisyMNIST2 为每幅图像提供两个视图，即原始像素和旋转、噪声损坏的变体，NUSWIDEOBJ3 (30,000 张图像，31

结论
在本文中，我们介绍了 OpenEnhancer，这是一个旨在提高开放集识别性能并解决适应性冲突的框架。该方法专门针对传统多特征融合方法在处理未知类别以及由多样特征类型引起的冲突时所面临的挑战。OpenEnhancer 采用伪未知机制来适应未知类别场景，帮助模型区分已知和未知数据。我们也

CRediT 作者贡献声明
Shide Du: 写作 – 审查与编辑，写作 – 原稿，验证，方法论，调查，形式分析，概念化。Zihan Fang: 写作 – 原稿，验证，方法论，调查，形式分析，概念化。Yilin Wu: 可视化，方法论，调查，形式分析，概念化。Shiping Wang: 写作 – 审查与编辑，监督，方法论，概念化。Manuel Günther: 写作 – 审查与编辑，写作 – 原稿。

利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系，这可能会影响本文报告的工作。

致谢
本工作部分得到了中国国家自然科学基金资助，项目编号 U25A20527 和 62276065，以及中国福建省自然科学基金资助，项目编号 2024J01510026。

Shide Du|Zihan Fang|Yilin Wu|Shiping Wang|Manuel Günther