从隶属度到关系：一种用于学习关系谓词的神经模糊框架

《Neurocomputing》：From membership to relations: A neuro-fuzzy framework for learning relational predicates

　　

摘要

传统神经模糊系统通过基于隶属度的条件来表示规则前件，将模糊规则主要限制在等式类表达式上（例如"温度是低的"）。这限制了它们表达能力更丰富的语言关系（如"至少是低的"、"至多是低的"或"不是低的"）的能力。为解决这一局限，我们提出了广义直觉模糊项（General Intuitive Fuzzy Term，GIFT），这是一种统一的自适应模糊表示方法，能够在单一可微分框架内建模等式关系、不等式关系和基于序的关系。基于GIFT，我们提出了关系语言神经模糊推理系统（Relational Linguistic Neuro-Fuzzy Inference System，ReLaFIS），该系统学习语言项上的关系算子，并构建具有关系型前件的模糊规则。这一扩展增强了模糊规则的表达力，同时保留了其语言可解释性。此外，ReLaFIS引入了一种间接前件松弛机制，允许竞争性的关系算子被赋予相近的重要性。该机制使得不完整模糊规则和隐式特征抑制得以涌现，从而在无需显式特征选择的情况下生成更紧凑的规则库。与传统的Takagi-Sugeno-Kang（TSK）模型不同，后者的后件函数独立于前件几何结构进行参数化，本文提出的框架在以前件语言项宽度归一化的规则中心坐标系中构建局部后件函数，从而使得在每个局部模糊区域内实现几何感知的函数逼近。此外，本文引入了一种基于重构的自监督学习策略，以在关系语义指导下引导前件参数的学习，提高模型训练的稳定性。为量化模糊规则所表达的关系语义的多样性，我们进一步引入了前件关系熵（Antecedent Relation Entropy，ARE），一种信息论度量指标，用于衡量关系谓词在规则前件中的分布。在一系列基准分类问题上的实验结果表明，ReLaFIS在显著减少模糊规则数量的同时，实现了具有竞争力或更优的预测性能，凸显了它学习紧凑且语言关系丰富的神经模糊模型的能力。

引言

推理是从可用知识和观测中推导结论的过程。它在智能系统中发挥着基础作用，使系统能够基于给定知识库（KB）回答查询并做出决策。然而，在实际应用中，由于测量误差、主观判断和环境不确定性，可用信息往往是不完整的、不精确的或模糊的[1]。因此，有效的推理机制必须具备在不确定性条件下进行推理的能力，而不仅仅依赖于精确且确定的信息。模糊推理系统（FIS）通过将模糊逻辑融入推理过程，为应对这一挑战提供了强大的框架。通过一组模糊IF–THEN规则，FIS建立了从输入向量到输出的非线性映射，从而在不精确和歧义存在的条件下实现可解释的推理[2]、[3]、[4]。

神经模糊系统（NFS）是一种混合智能模型，它将神经网络的学习能力与模糊推理系统（FIS）的可解释性相结合[2]、[4]、[5]、[6]、[7]、[8]、[9]。这种结合使NFS成为解决广泛复杂问题的灵活框架，包括控制[10]、[11]、[12]，包括近期的基于优化的T-S模糊控制方法[13]、[14]，非线性系统辨识[15]，内容处理[16]，多智能体系统[17]，医疗诊断[18]，异常检测[19]，单细胞多视图聚类[20]，金融时间序列预测[21]、[22]，以及信息物理系统[14]、[23]、[24]。

在众多NFS模型中，自适应神经模糊推理系统（ANFIS）[2]是最早且最具影响力的框架之一。在该模型中，输入空间被划分为模糊集，模糊规则通过跨输入变量组合这些模糊集来生成。在后件部分，每条规则与一个线性模型相关联，其输出根据规则的激活程度贡献于最终预测。

ANFIS在实际问题中的一个性能瓶颈是规则爆炸问题，这是由于均匀划分输入空间所导致的。为解决这一问题，文献中提出了多种智能初始化方法，包括应用各种基于质心的聚类方法（如模糊C均值聚类FCM[25]）、交互感知聚类方法（如模糊解释最大化FExMax[4]），以及数据云和密度聚类方法（如自组织方向感知数据划分SODA[26]）[4]、[27]、[28]。此外，一些早期研究提出考虑这些聚类方法的在线版本，以动态构建模糊规则[5]、[29]。近期的研究还探索了用于动态环境的演化式和可解释神经模糊架构，其中模糊规则从不断到来的数据中增量式地生成和自适应调整[30]。

许多传统NFS的另一个局限在于，模糊规则通常通过对所有输入变量组合语言条件来构建。然而，在许多实际应用中，只有变量子集与特定推理过程相关。因此，强制每条规则涉及所有输入会降低可解释性，引入冗余条件，并不可避免地增加规则数量。这一问题与常规NFS无法自然表示不完整模糊规则的能力密切相关，即某些前件条件因与特定规则无关而被有意省略[1]。

一些NFS尝试通过限制每条模糊规则中涉及的输入变量数量来降低规则复杂度。例如，深度NFS HID-TSK[31]在构建模糊集和规则之前随机选择固定大小的输入变量子集。在[32]中，将极稀疏随机投影（VSRP）机制与基于数据云的演化模糊系统相结合，形成了VSPR-AnYa-EFS框架。所提出的随机稀疏-Bernoulli投影压缩了前件表示并降低了其维度。相关思想也在模糊极限学习机（如F-ELM）中得到了探索，其中不完整模糊规则通过在规则构建过程中进行随机特征选择来生成[33]、[34]。近期，非结构化神经模糊推理系统（UNFIS）[3]被提出，该模型能够学习为每条规则选择最相关的输入变量子集，而非随机选择。UNFIS通过引入模糊选择器神经元来选择所需特征，直接松弛了每条模糊规则中冗余语言项的影响。

为提高规则表示的灵活性，一些研究探索了将析取推理集成到神经模糊系统中，通过在前件中组合T-加法和T-乘积算子实现[28]、[35]、[36]、[37]、[38]、[39]、[40]。特别是，基于单零神经元的系列研究以及相关的基于单统一算子的模糊神经元（包括ENFS-Uni0和EFNN-NullUni），研究了如何将灵活的合取与析取语义组合集成到可解释的神经模糊规则中[28]、[36]、[41]。这些模型允许前件不仅表示传统的合取条件，还能表示析取和混合逻辑结构，从而在规则依赖关系表示方面提供了更大的灵活性。近期，UnimNeuron通过引入一种数据依赖机制进一步扩展了该研究方向，该机制可自动选择可解释神经模糊神经元的连接行为，使其根据数据表现出合取、析取或补偿特征[42]。相关工作还探索了基于伪单统一算子的伪单神经元，进一步通过非交换运算扩展了模糊-神经聚合的灵活性[40]。此类析取型前件可被解释为表示多条共享相同后件的多特征单规则。例如，形如的规则可被视为一系列规则的逻辑集合，从而允许来自单个特征的替代性证据支持相同结论。这为规则结构提供了一种紧凑表示，其中并非所有特征都需要联合参与前件。

许多传统NFS的另一个局限是它们表达不同类型语言条件的能力有限。在大多数现有模型中，规则前件仅由形如"是"的正向陈述构建。因此，涉及否定的表达式（如"不是"）无法直接表示。当建模例外情况时，这一问题更加突出。例如，如果一个变量有（L）个语言项，表达"不是"的条件通常最多需要（L-1）条额外规则，每条使用剩余语言项中的一个。这些额外规则增加了规则库的规模和复杂度，使模型更难解释。为解决这一问题，字面量感知自适应神经模糊推理系统（LitANFIS）[9]近期被提出，该系统引入了一种模糊正负神经元，允许模糊规则中使用正向和负向语言项。

尽管近期的NFS在学习例外和生成不完整模糊规则方面取得了进展，但其语言表示能力仍然有限。大多数继承自ANFIS的现有模型只能在其前件中使用基于等式的条件，如"是"。这些模型仅通过基于隶属度的语言语句（如"是"）来表示前件条件，限制了它们捕获人类推理中常见丰富关系表达式的能力。一些较新的方法还引入了负向条件，允许"不是"的表达式。然而，这些模型仍仅限于等式和不等式关系。相比之下，人类专家经常使用关系表达式（如"至少是"或"至多是"）进行推理。这类条件在决策、诊断、风险评估和控制应用中很常见，其中值在有序语言尺度中的相对位置与其在语言项中的隶属度同样重要。由于当前NFS无法学习此类关系语言算子，其表示人类推理的能力仍然有限。此外，关系知识通常需要通过多条等式或不等式规则来近似表示，导致规则库更大、模型复杂度更高且可解释性更差。

为解决这一局限，我们提出了广义直觉模糊项（GIFT），一种新的自适应语言表示，能够在统一的可微分框架中学习等式关系、不等式关系和基于序的关系。GIFT不再将前件条件限制为传统的基于隶属度的表达式（如"是"），而是学习哪种关系算子最好地描述每个语言项及其重要性。以此方式，它将模糊推理从简单的基于隶属度的陈述扩展到更丰富的关系语言表达式。此外，GIFT通过学习竞争性关系算子的相对重要性，实现了自适应前件松弛。当相反的关系（如等式与不等式或至少条件与至多条件）获得相近的权重时，相应的语言条件变得区分能力减弱，有效地降低了关联输入变量对规则的影响。因此，不完整模糊规则可以自然地在学习过程中涌现，而无需显式的特征选择机制。

大多数NFS的另一个局限是前件与后件之间的弱耦合。在传统的基于TSK的架构中，前件确定规则激活强度，而后件参数则作为回归或分类模型独立学习。因此，前件控制规则何时被激活，但不控制其后件如何参数化。从语义上看，每条模糊规则代表了输入空间中由特定语言条件定义的局部区域。因此，后件理想上应反映其前件区域的几何和语义特征，而不是被独立学习。

为解决这一问题，本文提出的框架在前件模糊区域导出的规则中心且宽度归一化的参考系中构建后件函数。此外，学习到的前件松弛被纳入后件建模中，降低了不太重要变量的影响。这建立了前件与后件之间更强的语义耦合。

如前所述，基于聚类的方法被广泛用于初始化NFS的参数。然而，基于聚类的初始化天然地与原型中心的等式类前件语义对齐，并未明确提供初始化基于序或不等式关系谓词的机制。当前件被允许表达不等式和基于序的关系概念时，这一假设不再成立。因此，传统的基于聚类的初始化可能无法为学习关系模糊规则提供合适的起点。为应对这一挑战，我们引入了一种基于重构的初始化策略，由两个并行的学习目标组成。第一个目标学习目标任务所需的输入输出映射，而第二个目标执行输入重构，以引导前件表示的形成并促进关系语义的学习。

为克服上述局限，本文提出了关系语言神经模糊推理系统（ReLaFIS），一种将传统的基于隶属度推理扩展为关系语言推理的新型NFS。基于所提出的广义直觉模糊项（GIFT），ReLaFIS实现了语言项上等式、不等式和基于序的关系的自动学习。此外，该框架支持前件松弛、紧凑不完整模糊规则的涌现以及语义耦合的后件建模。同时，引入了一种重构引导的学习策略，以促进关系模糊规则和前件参数的初始化。

本文的主要贡献总结如下：
- 我们提出了通用直觉模糊项（GIFT），这是一种新颖的语言表示方法，通过在统一的可微框架内实现相等、不等和基于顺序的关系的自适应学习，从而对传统模糊项进行推广；
- 我们提出了ReLaFIS，一种能够学习关系语言谓词的神经模糊系统（NFS）；
- 我们开发了一种基于语言的前件松弛机制，该机制允许通过竞争关系算子学习到的重要性，自然地产生不完整的模糊规则；
- 我们提出了一种语义耦合的前件-后件构造方法，其中后件模型在以规则为中心且宽度归一化的参考系中构建，同时前件松弛被传播至后件建模；
- 我们提出了一种由重构引导的自监督学习策略，用于初始化关系模糊规则的参数；
- 我们引入了一种新颖的信息论指标，称为前件关系熵（ARE），用于量化模糊规则前件中语言关系的语义多样性。

本文其余部分组织结构如下：第2节介绍关系模糊规则的概念，其中前件条件通过语言关系而非传统的基于隶属度的谓词来表达。随后，介绍了所提出的通用直觉模糊项（GIFT）、ReLaFIS架构及相关学习过程。第3节在多个真实基准数据集上评估了所提框架的预测性能、计算可扩展性、可解释性和紧凑性。最后，第4节总结了本文并讨论了未来研究的潜在方向。

各节摘要

所提方法
本节介绍了所提出的关系语言神经模糊推理系统（ReLaFIS）。首先，我们引入关系模糊规则的概念，其中前件条件通过语言关系而非传统的基于隶属度的谓词来定义。其次，我们提出通用直觉模糊项（GIFT），这是一种新颖的自适应语言表示，能够学习每个前件条件的最恰当关系语义。基于GIFT，我们……

实验结果
本节在三组互补的分类问题上评估了所提出的ReLaFIS：标准低维基准、中等维度现实应用以及高维分类问题。
实验研究评估了所提框架的预测性能、规则库紧凑性、计算可扩展性和可解释性。实验设置按照相关神经模糊领域已有的评估实践进行选择。

结论
本文提出了ReLaFIS，一种关系神经模糊推理系统，它将传统模糊规则模型的语言表达力从基于隶属度的相等条件进行了扩展。所提出的通用直觉模糊项（GIFT）为四种关系语义提供了统一的可微表示，使得一个模糊项能够表达输入是否近似等于、不同于、大于或小于某个语言项。因此……

CRediT作者贡献声明
Armin Salimi-Badr：原创草稿撰写、验证、指导、项目管理、方法论、调查研究、形式化分析、概念化。Nazanin Foroutan：审阅与编辑、可视化、验证、软件开发、调查研究、数据整理、概念化。

利益冲突声明
作者声明他们没有已知的竞争性经济利益或个人关系可能影响本文所报告的工作。

Armin Salimi-Badr分别于2010年、2012年和2018年获得伊朗德黑兰阿米尔卡比尔科技大学的计算机工程学士、硕士和博士学位，并于2019年获得法国第戎勃艮第大学的神经科学博士学位，期间他在国家卫生研究院1093实验室（CAPS实验室，即认知、动作与感觉运动可塑性实验室）研究了脑运动控制的计算模型。

Armin Salimi-Badr | Nazanin Foroutan