《Egyptian Informatics Journal》：JSATRA: topology based logic mining using discrete hopfield neural network
编辑推荐：
在开发逻辑挖掘模型中，获得最优逻辑规则并保持逻辑规则的可解释性是两个关键问题。为应对这些挑战，研究人员提出了一种新颖的符号逻辑规则，即J型随机2,3可满足性（J-type Random 2,3 Satisfiability, JRAN2,3SAT），用于表示数
在开发逻辑挖掘模型中，获得最优逻辑规则并保持逻辑规则的可解释性是两个关键问题。为应对这些挑战，研究人员提出了一种新颖的符号逻辑规则，即J型随机2,3可满足性（J-type Random 2,3 Satisfiability, JRAN2,3SAT），用于表示数据集中的属性。所提出的逻辑规则由二阶和三阶子句组成，其中子句的阶数是随机生成的。一个构建良好的逻辑规则将与离散Hopfield神经网络（Discrete Hopfield Neural Network, DHNN）集成，并应用于真实数据集。为了实现重要属性的选择，研究人员利用拓扑数据分析（Topological Data Analysis, TDA）来捕捉数据集的结构特征。在属性选择之后，将在训练阶段应用置换算子以增加逻辑挖掘的解空间。在此背景下，扩展的搜索空间最终将产生最优的诱导逻辑。所提出的逻辑挖掘模型使用了来自不同研究领域的多个真实数据集进行评估。实验结果表明，该模型优于所有最先进的逻辑挖掘模型，实现了0.8375的平均准确率，并在精确率（Precision）、F1分数（F1-score）和马修斯相关系数（Matthews’ Correlation Coefficient, MCC）方面表现出优越性能。
**JSATRA：基于拓扑数据分析与离散Hopfield神经网络的逻辑挖掘模型研究解读**
**研究背景**
数据挖掘是发现大型数据集中模式、相关性和趋势的强大工具，广泛应用于金融、医疗和营销等领域。然而，许多传统数据挖掘方法可解释性有限，这促使了符号逻辑规则与人工神经网络（Artificial Neural Networks, ANNs）的融合。与传统数据挖掘不同，逻辑挖掘侧重于揭示变量间的逻辑关系，而非仅识别统计相关性或聚类，这在知识表示、基于规则的系统等领域具有重要价值。离散Hopfield神经网络（Discrete Hopfield Neural Network, DHNN）作为一种联想记忆模型，能够通过将逻辑变量映射到神经元来存储和操作逻辑公式。
现有逻辑挖掘模型存在几个关键问题。首先，虽然已有研究将Horn可满足性（Horn SAT）、2可满足性（2SAT）和3可满足性（3SAT）等系统逻辑规则引入DHNN，但这些模型存在过拟合和逻辑结构不灵活的问题。后续提出的非系统逻辑规则如随机2可满足性（Random 2 Satisfiability, RAN2SAT）和G型随机3可满足性（G-Type Random 3 Satisfiability, GRAN3SAT）虽有所改进，但灵活性仍不足以泛化到更多数据集。其次，属性选择是机器学习中的关键步骤，但现有逻辑挖掘模型如监督2可满足性反向分析方法（Supervised 2 Satisfiability Reverse-based Analysis Method, S2SATRA）使用相关性分析，对数线性分析2可满足性反向分析方法（Log-linear Analysis 2 Satisfiability Reverse Analysis Method, A2SATRA）使用对数线性分析，这些方法依赖于特定的监督假设，而无监督学习则能利用数据内在属性，提供更灵活的替代方案。最后，训练和检索阶段中，现有模型如A2SATRA和S2SATRA主要关注真正例（True Positives, TP）来确定最优逻辑，忽略了真负例（True Negatives, TN）的重要性，尤其是在处理不平衡数据集时。
为解决上述问题，研究人员开展了一项研究，旨在提出一种优化的逻辑挖掘模型，该模型结合了无监督属性选择方法、混合高阶逻辑规则、置换算子，以及同时考虑TP和TN的目标函数，以提升模型在真实数据集上的分类性能及可解释性。该论文发表在《Egyptian Informatics Journal》。
**主要技术方法**
本研究提出的JSATRA模型主要采用以下关键技术方法：1）**拓扑数据分析（Topological Data Analysis, TDA）**：用于预处理阶段，通过主成分分析（Principal Component Analysis, PCA）和Mapper算法，捕获数据集的形状和结构特征，以选择最优属性。2）**J型随机2,3可满足性（J-type Random 2,3 Satisfiability, JRAN2,3SAT）**：一种混合高阶逻辑规则，结合了系统（二阶和三阶子句）和非系统逻辑规则，为DHNN提供灵活的逻辑表示。3）**置换算子（Permutation Operator）**：在训练阶段，系统地探索不同属性组合，以识别最优的诱导逻辑。4）**离散Hopfield神经网络（Discrete Hopfield Neural Network, DHNN）**：作为核心学习框架，通过Wan Abdullah（WA）方法计算突触权重，并利用能量函数评估网络稳定性。研究使用了来自UCI机器学习库和Kaggle的20个真实数据集，涵盖医疗、社会科学、生物学、商业等领域。
**研究结果**
**7.1. 准确率（Accuracy, ACC）**：通过对比实验，JSATRA在20个数据集中有18个表现出优于其他所有逻辑挖掘模型（包括RA、2SATRA、3SATRA、E2SATRA、P2SATRA、S2SATRA、A2SATRA）的性能。其平均准确率为0.8375，标准差为0.0940，在所有模型中最低，表明其具有最佳的稳定性和泛化能力。
**7.2. 精确率（Precision, PRE）**：JSATRA获得了最高的平均精确率。在D1、D4、D5、D17和D18数据集中，PRE值接近1。特别是在不平衡数据集D5（医疗诊断场景）中，JSATRA实现了93.25%的最高PRE，显示出其最小化假正例（False Positives, FP）的强大能力。
**7.3. 灵敏度（Sensitivity, SEN）**：JSATRA取得了第二高的平均灵敏度值（0.7075），仅次于S2SATRA（0.7185）。在D1、D3、D4等7个数据集中，SEN值超过0.9，表明模型能有效识别正例。通过PRE与SEN的散点图分析，JSATRA的点主要聚集在右上角，表明其在不同数据集上具有稳定且均衡的性能。
**7.4. F1分数（F1 Score）**：JSATRA在平均F1分数（0.7113）上表现最佳，领先于S2SATRA（0.6960）和A2SATRA（0.6610），并在20个数据集中有10个获得最高值。这证明了其在平衡精确率和灵敏度方面的优越性。
**7.5. 特异度（Specificity, SPC）**：JSATRA取得了平均SPC（0.7814）的最高值，并在20个数据集中有10个获得最高。在D5、D6等5个数据集中，SPC值超过0.95，特别是在负例占主导的D12数据集中，JSATRA达到了0.9954的SPC，表明其能有效识别真负例。
**7.6. 马修斯相关系数（Matthews Correlation Coefficient, MCC）**：JSATRA在所有模型中获得了最高的平均MCC（0.5749），并在20个数据集中有14个获得最高值。MCC是评估不平衡数据集性能的关键指标，JSATRA的优异表现得益于其灵活的逻辑结构（可调节二阶和三阶子句比例）以及对TP和TN的联合优化。
**7.7. 模型差异评估**：通过Friedman检验和Kruskal-Wallis检验，所有性能指标的p值均小于0.05，表明模型间存在显著统计学差异。JSATRA在ACC、PRE、SPC、F1分数和MCC上均获得了最高的平均秩，进一步证实了其性能优越性。
**7.8. 消融与计算效率分析**：消融实验表明，去除TDA或置换算子后，ACC和MCC均下降，证实了这两项技术对模型性能的贡献。使用3SAT-only时性能接近完整JSATRA，但JRAN2,3SAT提供了更灵活的逻辑表示。TDA参数敏感性分析显示，最佳参数因数据集而异，但固定配置提供了可重复的基准。早期停止（patience=20）启发式方法可将平均运行时间减少79.5%，同时性能变化很小。
**讨论与结论**
本研究提出并优化了名为JSATRA的逻辑挖掘模型，该模型将混合高阶逻辑规则（JRAN2,3SAT）与DHNN集成，用于分类任务。该模型在预处理阶段使用基于TDA的属性选择，在训练阶段引入置换算子以扩展诱导逻辑的探索空间，并将同时最大化TP和TN作为选择最优逻辑的目标函数，以处理不平衡数据集。
研究结论翻译如下：本研究提出了一种名为JSATRA的优化逻辑挖掘模型，该模型将混合高阶逻辑规则与DHNN集成，用于分类任务。采用了基于TDA的预处理阶段进行代表性属性分组，同时置换算子在训练阶段扩展了诱导逻辑的探索空间。此外，本研究侧重于优化训练阶段的目标函数，以确保准确选择最优逻辑。当模型应用于不平衡数据集时，这种优化尤为关键。研究结果表明，TDA与高阶逻辑规则在DHNN中的集成可以显著提升在一系列数据集上的分类性能。JSATRA在20个数据集上进行了测试，并与7个相关模型进行了比较。所提出的模型在ACC（0.8375）、PRE（0.8031）、F1分数（0.7113）、SPC（0.7814）和MCC（0.5749）上取得了最高平均值，显著优于基线模型。统计假设检验的结果证实了各模型间的性能存在显著差异，表明JSATRA模型表现更好。尽管取得了积极成果，将JSATRA扩展到更复杂和大规模的数据集仍有多个方向。未来的工作可能研究软或多样本状态表示，以保留更精细的数值区分。此外，采用动态和数据驱动的属性选择策略，而非固定数量，可以增强模型适应不同数据集的能力。受控效率分析也表明，基于耐心的早期停止启发式方法可以大幅减少置换搜索时间，仅带来很小的性能变化，为计算资源受限时提供了实用选择。将当前二元公式扩展到多类预测是另一个重要方向。此外，元启发式搜索方法可能有助于识别更多样化和准确的诱导逻辑，尤其是在规则搜索空间变大时。
