高不确定性建模场景中的认知网络聚合

《Neurocomputing》：Aggregation of cognitive networks in high-uncertainty modeling scenarios

　　

摘要

通过参与式建模构建的模糊认知图（FCMs）将专家的因果关系知识编码到统一的认知网络中。聚合多个描述同一系统的FCMs面临两个未解决的挑战。首先，高不确定性使得专家模型在结构上被噪声主导，因此等权运算符趋向于向噪声簇迁移，而非潜在共识。其次，专家可靠性是自报的，通常不可信。我们同时解决了这两个问题，提出了共识驱动的置信度学习（CCL）算法。我们首先证明了置信度加权中位数和均值是多种不相异度量下结构最优的运算符。我们进一步证明，使用置信度加权中位数的CCL在熵正则化结构势上可证明地执行块坐标下降，且其最小化损失通过准非线性FCMs的极限状态空间上界，界定了它从未评估的功能性分歧。均值则依赖于较弱的界和实证证据。在这些运算符下，CCL通过k-近邻初始化和带指数梯度更新的解耦期望最大化过程来学习置信度分数。数值模拟涵盖三个不同大小的模型池、三种不确定性场景以及单极和双极激活器。CCL超过了19种前沿方法，当专家一致性温和或较差时，模拟准确度提升最高达76%。一种交叉验证变体以边际成本消除了逐配置调参需求，一项重复研究确认了单一固定设置下的优势，一项基于16份引发因果图的案例研究在很大程度上重现了相同的排序。CCL使用置信度加权均值是最强的运算符，而双曲正切是最具挑战性的激活器。

引言

模糊认知图（FCMs）[1]是循环神经网络，具有分析复杂系统和优先考虑可解释性的机器学习任务的广泛应用。它们结合了图论、基于知识的建模和神经计算。在其规范形式中，FCMs是有向图，其中节点表示变量、事件或系统组件等概念，而边表示它们之间的因果关系[2]。每条边携带一个在区间内的权重。正值表示直接因果增强，负值表示因果抑制，零值表示无影响[3]。

FCM模型[4]、[5]及其扩展[6]、[7]、[8]的收敛性是产生有意义结果的必要条件。然而，FCM模型难以控制，其行为范围从唯一的和多个固定点吸引子到极限环甚至混沌。如果模型达到稳定，它将随着更多迭代继续产生相同的输出。否则，模型将产生可能周期性重复（极限环）或不重复（混沌行为）的不同输出。我们是否偏好某种收敛行为取决于所解决的问题。例如，在时间序列预测任务[9]、[10]中，固定点阻止模型捕获任何数据变异性，而长期预测需要这种变异性。在控制问题[11]、[12]中，可能期望唯一的固定点吸引子，而模式分类任务[13]、[14]需要覆盖所有决策类别的多个固定点。

研究人员在提高FCM模型的收敛性能方面做出了显著努力，取得不同程度的成功。例如，Yang和Liu [15]提出了一种多智能体遗传算法，通过优化收敛误差来高效学习稀疏FCM模型。Nápoles等人[16]提出了一种事后学习算法，通过调整函数参数同时保留权重来提高Sigmoid FCM模型的稳定性。该算法的主要优势是不改变领域专家定义或从数据记录学习到的权重矩阵。然而，稳定性和准确性经常存在矛盾。某些调整可缓解不良行为，但无法保证在不改变权重的情况下实现收敛。不幸的是，这一局限性挑战了此类方法在许多场景中的可用性，揭示了进一步方法论进步的需求。

作为替代方案，Nápoles等人[17]引入了准非线性FCMs（qFCMs）。传统FCMs执行一阶推理，当前迭代的网络状态由前一个状态、权重矩阵和激活函数决定。qFCMs额外保留了初始条件的记忆。这种记忆允许更丰富的动态行为，可以通过准非线性系数在很大程度上进行控制。例如，作者数学证明了当准非线性系数小于1时，qFCMs永远不会收敛到唯一的固定点吸引子。这种可控性使其成为动态环境中更稳健和适应性更强的替代方案。

与经典FCMs类似，我们可以将多个描述同一问题的qFCMs聚合为单一的认知结构。聚合后的模型包含统一的知识表示，结合了专家意见、数据来源和视角之间的共识。文献中包含多种聚合运算符（详见第2节综述）。算术平均仍是使用最广泛的，因其简单性和对输入的等权处理[18]、[19]。其他方法包括可信度加权聚合技术，从中心性度量[20]到专家特定的置信度分数[21]。尽管有这些进步，现有聚合方法存在重大缺陷，限制了其可靠性。首先，它们主要关注保留单个模型的结构聚合，而忽视了聚合模型的功能精度[22]。其次，它们要么假设所有模型具有相同的置信度，要么使用基于启发式方法的置信度权重，可能无法捕获每个模型的可靠性。

为解决这些问题，我们提出了共识驱动的置信度学习（CCL）算法，该算法从模型群体的结构几何中而非专家自评中发现置信度分数。作为前提，我们证明了置信度加权中位数和置信度加权均值是多种不相异度量下结构最优的聚合运算符。作为第一步，CCL通过模型间成对结构距离上的k-近邻密度估计来初始化分数。因此，紧共识簇中的模型比孤立或噪声模型获得更高的初始置信度。然后，在给定运算符下，CCL使用带指数梯度更新的解耦期望最大化过程来精炼这些分数。在每次迭代计算单个结构损失之前，候选聚合被冻结，这防止了自指反馈将所有权重驱动到单一模型上。在更新运算符的不动点处，学习到的分数形成模型群体上的Gibbs分布，其能量与从共识的结构距离成正比。因此，每个分数都允许直接解释为数据驱动的可靠性度量。数值模拟在三个组织为三种不确定性场景的100个合成qFCMs模型池中进行，涵盖两种激活函数、两种CCL聚合运算符和多种非线性条件。

主要发现。首先，在高不确定性场景中，CCL在结构精度和功能精度两方面均优于所有前沿聚合方法，同时在强对齐场景中保持竞争力。其次，加权平均运算符实现了最高的峰值增益，而加权中位数以牺牲峰值性能为代价换取了所有配置下的稳定性。第三，与Sigmoid相比，双曲正切函数导致更大的模拟差距，因为其较低的饱和度动态在模拟输出中保留了更多方差。

除聚合算法本身外，三个要素完善了贡献。首先，我们建立了当置信度加权中位数是聚合运算符时，CCL在熵正则化结构势上执行精确块坐标下降的结果。该结果产生了单调收敛保证和不动点的精确表征。其次，我们利用准非线性FCMs的极限状态空间，通过模型间的结构距离来界定两个模型之间的功能偏差。因此，结构学习信号的选择获得了正式证明，而非纯粹实证依据。第三，一种交叉验证选择程序消除了调参三个CCL超参数的负担。我们还在整个参数网格上量化了算法对该选择的敏感性。

论文其余部分组织如下。第2节回顾了FCM聚合的相关工作。第3节介绍了qFCM形式化。第4节推导了结构最优聚合运算符和连接结构与功能偏差的界。第5节提出了CCL算法。第6节报告了数值模拟并讨论了主要发现。第7节总结了贡献、发现和未来研究方向。

相关工作片段

聚合多个FCMs为单一知识表示最直接的方法之一是计算算术平均值。它首先通过所有模型中神经概念的并集来扩展所有输入FCMs的结构，这导致扩展的权重矩阵。然后，每条边的聚合权重计算为该边在所有出现该边的模型中的值的平均，而不对其在其他模型中的缺失进行惩罚。有时，我们考虑

准非线性模糊认知图

从结构观点来看，qFCMs由权重矩阵 characterized，汇集了个神经概念间的关系，其中。从动态观点来看，qFCMs是循环神经网络，其神经概念由领域专家定义或由数据建立的激活值初始化。该值随后通过准非线性推理规则[17]迭代更新。方程(2)展示了准非线性条件下第次迭代时第个神经概念的更新激活值。

不同度量下的聚合运算符

设待聚合的qFCM模型集合为，其中定义了第个模型的权重矩阵。聚合问题在于构建一个具有权重矩阵的模型，使其与每个在结构上尽可能相似。通常，单个模型代表参与式建模研究中领域专家的观点。因此，聚合步骤允许将所有观点感知对齐为统一模型。

设计聚合运算符的一个显著瓶颈

学习算法

本节提出了共识驱动的置信度学习（CCL）算法，该算法为模型池中的每个模型自动发现正置信度分数。归一化分数随后用于通过第4节推导的结构最优运算符计算聚合矩阵。由于所有分数保持严格为正，每个专家模型都对聚合有贡献，与大多数具有更高结构一致性的模型获得成比例更大的权重。

数值模拟

生成了三个FCM模型池，对应网络大小为、和个神经概念，每池个模型。池中所有模型共享相同的概念集。每池的潜在共识矩阵逐条目从绘制，掩膜以实现50%边密度，对角线置零。单个模型生成为，其中具有独立的高斯条目。

此外，每池生成两个子群体，即低噪声的共识模型（）和噪声

结论

本文提出了CCL算法，用于聚合高不确定性参与式建模场景中产生的qFCM模型。先前的聚合方法依赖专家自评或启发式加权，而CCL从模型群体的结构几何中学习正置信度分数。紧共识簇中的模型因此获得成比例更高的分数，而结构上孤立的模型则较低，无需领域专家的任何主观输入。为支持运算符

作者贡献声明

Manuel Quesada：写作——审阅与编辑，写作——初稿，可视化，调查，形式分析，数据整理，概念化。Gonzalo Nápoles：写作——审阅与编辑，写作——初稿，可视化，验证，方法论，调查，概念化。Leonardo Concepción：写作——初稿，可视化，验证，方法论，调查，形式分析，数据整理。Yamisleydi Salgueiro：写作——审阅与编辑，写作——初稿。

利益冲突声明

作者声明他们没有任何已知的竞争财务利益或个人关系可能影响本报告中所述工作的发布。

致谢

Y. Salgueiro感谢ANID Fondecyt Regular 1240293以及NLHPC超级计算基础设施（CCSS210001）提供的支持。L. Concepción由TSI-100927-2023-1项目资助，该项目由欧盟下一代计划《恢复、转型与韧性计划》资助。这些资金通过数字转型部与文职部管理。

Manuel Quesada博士于2023年和2025年分别从古巴拉斯比尔拉斯中央大学获得计算机科学理学学士学位（以最高荣誉毕业，科学成就奖）和硕士学位。他目前正在西班牙马拉加大学攻读计算机工程硕士学位，专业方向为数据科学。2024年，他在比利时哈瑟尔特大学获得研究奖学金，进行为期两个月的神经网络交流访问。他关于模糊认知图的工作已被

Manuel Quesada | Gonzalo Nápoles | Leonardo Concepción | Yamisleydi Salgueiro