一种用于多标签表格数据分类的神经模糊系统的模块化框架

《International Journal of Approximate Reasoning》：A Modular Framework of Neuro-Fuzzy Systems for Multi-Label Tabular Data Classification

　　•提出了一种用于多标签表格数据的模块化神经模糊框架。•特征-标签感知的子集构建了连贯且有标签信息的专家系统。•完整的局部模糊规则在线性规则增长时增强了表达能力。•全空间门控机制自适应地整合了局部神经模糊专家的输出。•一个现实世界的疾病任务验证了其预测价值和可解释性。

引言
多标签分类（MLC）[1] 是一种针对表格数据的基本机器学习任务，其中模型被训练同时为每个样本分配多个相关标签。MLC 在图像识别[2]、自然语言处理[3]、医疗诊断[4]等不同领域得到了广泛应用。现有的 MLC 方法可以分为传统方法和深度学习方法。与忽略多个标签之间关联的传统方法（包括问题转换[5]和算法调整[6]）相比，基于深度学习的 MLC 方法近年来受到了越来越多的关注[7]。然而，由于深度神经网络的黑箱特性，深度学习的可解释性较差，这限制了其在需要高可解释性决策过程的领域中的应用[8]。作为通用逼近器[9]，模糊系统由于其可解释的模糊规则[10]，具有成为构建可解释深度学习模型的组件的巨大潜力。将模糊系统与深度学习结合起来开发具有两者优势的混合模型已成为一个热门的研究课题[11]。近年来提出了几种基于模糊系统的 MLC 模型。但是，模糊系统由于模糊规则过多而面临规则爆炸的问题。大多数现有工作使用前提部分的不完整组合[12]、[13] 来限制模糊规则的数量。但是，模糊规则的表达能力尚未得到充分探索，导致模糊系统的有效性有限。为了更好地解决深度 MLC 模型的可解释性限制和模糊系统的规则爆炸问题，提出了一种用于多标签表格数据分类的模块化神经模糊系统（MFNFS）框架。MFNFS 引入了一个特征-标签感知的子集选择器，该选择器同时考虑了特征-特征相关性和特征-标签相关性。通过这种方式，每个局部子空间可以在标签信息特征的引导下保持连贯的特征依赖性。然后，为每个选定的特征子空间构建一个神经模糊系统，并将其视为特定特征的专家。由于每个专家只接收一个低维子集，因此可以在不导致原始高维特征空间规则爆炸的情况下本地使用完整的模糊规则集。最后，在原始特征空间上训练的门控网络自适应地整合所有神经模糊专家的输出，以获得最终的多标签预测。该框架结合了完整局部模糊规则的表达能力和模块化分解的可扩展性。通过基于规则的行为、事后归因以及门控机制的专家权重分析，来分析 MFNFS 的可解释性。

本文的主要贡献可以总结如下：
1. 我们提出了一种用于多标签表格数据分类的模块化神经模糊框架，该框架将原始的高维特征空间分解为多个低维子空间，并为每个子空间构建一个局部神经模糊专家。
2. 我们设计了一个特征-标签感知的子集选择器，该选择器同时考虑了特征-特征相关性和特征-标签相关性，使每个局部专家能够接收到一个连贯且有标签信息的特征子空间。
3. 我们在每个局部子空间内部引入了完整的模糊规则建模，这增强了神经模糊专家的表达能力，同时保持了全局层面的可处理复杂性。
4. 我们提供了可解释性分析，该分析结合了基于专家选择的局部规则级解释以及事后集成的梯度归因和门控机制的专家权重分析，并在现实世界的多疾病预测任务上展示了其实际价值。

本文的其余部分组织如下。第 2 节总结了 MLC 的相关工作。第 3 节描述了构建 MFNFS 的详细信息。第 4 节提供了实验、讨论以及在实际场景中的应用。第 5 节总结了本文。

相关工作
从考虑标签相关性的角度来看，MLC 模型可以分为一阶[14]、二阶[15]和高阶[16]。一阶方法独立处理标签。二元相关性（BR）[17] 将多标签问题分解为一系列独立的二元问题。分类器链（CC）[18] 为多个二元分类器构建了一个链，其中每个分类器的输入包括原始特征和之前分类器的预测结果。

方法论
在本节中，详细描述了 MFNFS 的细节。设 ??={(????,????)|??∈[1,??]} 为多标签数据的训练集，其中 n 是 ?? 中样本的数量。对于一个多标签样本 (xi, yi)，????=(????,1,?,????,??,?,????,??)∈???×1 是特征向量，m 是特征的数量；????=(????,1,?,????,??,?,????,??)∈{0,1}??×1 是真实标签向量，其中 ????,??=1 表示第 q 个标签与 xi 相关，????,??=0 表示第 q 个标签与 xi 无关。标签的数量用 l 表示。

实验
在本节中，通过在来自不同领域的多个数据集上进行比较实验来评估 MFNFS 在 MLC 上的性能。此外，还进行了超参数敏感性分析、消融研究和额外讨论，以进一步评估所提出的框架。还进行了一个实际应用研究，以评估 MFNFS 的实际价值和可解释性。

结论
在本文中，我们提出了一种名为 MFNFS 的模块化神经模糊系统框架，用于多标签表格数据分类。MFNFS 通过一个特征-标签感知的子集选择器构建多个低维特征子集，该选择器同时考虑了特征-特征相关性和特征-标签相关性。每个选定的子集由一个具有完整模糊规则集的局部神经模糊系统处理，从而增强了局部表达能力，同时避免了在 CRediT 上的指数级规则增长。

作者贡献声明
刘昊然：撰写 – 原始草稿、可视化、验证、软件、方法论、形式分析、数据整理。
余宏：撰写 – 审稿与编辑、可视化、验证、监督、资源协调、项目管理、方法论、资金获取、形式分析、概念化。
苏祖强：撰写 – 审稿与编辑、方法论。
王国印：撰写 – 审稿与编辑、监督、资源协调、项目管理、方法论、资金获取。

利益冲突声明
作者声明他们没有已知的竞争财务利益或个人关系可能会影响本文报告的工作。