SAFIRE：一种用于医学表格分类的可微分模糊启发式规则评分替代方法的数学分析

《Mathematics》：SAFIRE: Mathematical Analysis of a Differentiable Fuzzy-Inspired Rule-Scoring Surrogate for Medical Tabular Classification

　　

摘要

我们提出了SAFIRE（自注意力模糊启发规则估计器），这是一种可微分的模糊启发式规则评分替代模型，用于二分类医学表格数据集的分类任务。该模型结合了多头自注意力、高斯隶属函数以及硬混凝土门控机制来实现连续性的规则评分。我们将SAFIRE视为离散??0-规则选择问题，并得出了五个数学结论和一个复杂度分析：（1）在正高斯宽度范围内（通过Softplus重参数化实现）且批次归一化统计量固定的情况下，优化目标几乎处处可微分；（2）确定性推理的激活阈值严格高于预期非零训练阈值，因此硬混凝土门控机制属于连续规则评分装置而非自动剪枝机制；（3）逐样本前向复杂度分析表明，注意力层和规则层是主导因素；（4）Softplus–BatchNorm–线性规则运算符违反了所有四个三角范数公理——针对每个公理都给出了充要条件，同时还证明了不存在有限参数化的可能——而通过Softplus重参数化后可以恢复坐标上的单调性；（5）基于边界的上界可用于衡量完整分类器与仅使用前k条最佳规则的替代模型之间的差异；（6）经过Softplus重参数化处理的受限版本被证明在坐标上是单调的，且存在明确的渐近行为规律。在加州大学欧文分校的四个医学二分类表格数据集上，通过重复分层交叉验证测试后，SAFIRE-Prog在统计性能上可与强大的可解释型现代模型及梯度提升基线模型相媲美，在糖尿病视网膜病变德布勒森数据集上，其性能甚至比RuleFit高出显著水平。48种配置下的硬混凝土门控机制对比、受限版本比较以及前k条规则精度分析（每轮测试的精度范围为0.73–0.95）为这一数学框架提供了定量验证依据。此外，一个大规模医院电子健康记录数据集（Diabetes 130-US Hospitals，）表明，该规则评分机制能够处理约条记录，在严重类别不平衡的情况下，其在准确率指标上与梯度提升模型相当，而在宏观F1值上则明显优于后者。这些研究结果为医学表格数据分类的可解释、可审计规则评分方法提供了具有数学严谨性的实现路径，其中的规则特征是在投影后的潜空间中定义的，而非直接基于原始临床变量。