《Applied Sciences》:Fidelity-Constrained Rule-Based Knowledge Distillation of Random Forests for Compact Breast Cancer Grade Classification
编辑推荐:
乳腺癌在组织病理学和分子水平上是一种高度异质性疾病,组织学分级是反映肿瘤生物学行为的关键预后指标。尽管随机森林(Random Forest)模型能够有效捕捉高维基因表达数据中的非线性模式,但大型树集成的决策逻辑仍难以直接检查。本研究提出一种知识蒸馏(knowl
乳腺癌在组织病理学和分子水平上是一种高度异质性疾病,组织学分级是反映肿瘤生物学行为的关键预后指标。尽管随机森林(Random Forest)模型能够有效捕捉高维基因表达数据中的非线性模式,但大型树集成的决策逻辑仍难以直接检查。本研究提出一种知识蒸馏(knowledge distillation)框架,将随机森林教师模型(teacher model)的概率决策行为迁移至一个紧凑的基于规则的学生模型(student model),利用来自1892例METABRIC样本的20,385个基因表达特征区分低级别与高级别乳腺癌肿瘤,其中临床信息用于样本匹配和组织学分级标签定义。从教师模型中提取的根到叶决策路径被转换为二元规则激活矩阵,随后进行近端组稀疏化(proximal group sparsification)和保真度约束的Top-K规则选择。对于主要的400棵树教师配置,学生模型保留了65.0 ± 13.7条规则,并实现了0.833 ± 0.023的ROC-AUC和0.843 ± 0.019的平均精度(average precision),同时保持了0.9607 ± 0.0112的原始教师-学生Pearson保真度。随着教师容量的增加,活跃决策路径的数量显著增加,而所选规则预算保持在相对较窄的范围内,仅适度增加。紧凑的学生模型还显示出比400棵树教师模型大约低46%的测量端到端推理延迟和76%更小的序列化部署大小。在当前的METABRIC评估中,这些发现表明树集成的结构复杂性与逼近其概率行为所需的复杂性不必成比例增长,并且所提出的框架可以在预测性能、教师保真度和部署紧凑性之间提供有利的权衡。
本研究发表于《Applied Sciences》。乳腺癌是一种高度异质性疾病,组织学分级(histological grade,反映肿瘤分化程度的指标)是重要预后标志,但高维基因表达数据分析面临维度灾难和模型可解释性挑战。随机森林(Random Forest,一种集成学习模型)能捕获非线性关系,但大型树集成难以直接解释。现有特征归因方法(如SHAP)只描述特征与预测的关系,并不构建全局代理模型;规则提取方法虽能压缩模型,但多数未显式控制样本级概率保真度。因此,研究人员提出一种保真度约束的基于规则的知识蒸馏框架,旨在将随机森林教师模型的概率行为迁移到紧凑的规则学生模型,并系统回答四个研究问题:学生能否保持教师性能和概率行为?教师容量如何影响规则预算?各组件对性能-保真度-紧凑平衡的贡献?与基准模型的比较如何?
研究人员使用METABRIC队列的1892例样本和20385个基因表达特征,以组织学分级1-2级为低级别、3级为高级别构建二分类目标。采用五折分层外交叉验证和每折内的三折内交叉验证,确保模型选择完全独立于外测试数据。关键方法包括:从随机森林教师训练样本活跃根到叶路径提取合取规则并去重;构建二元规则激活矩阵;通过近端组稀疏化(proximal group sparsification,一种对规则系数进行组级软阈值惩罚的方法)和基于预定义Pearson保真度≥0.96的Top-K规则选择(按类别间系数差异排序并选最小可行K)确定紧凑学生模型;学生模型为softmax逻辑回归,损失函数结合真实标签交叉熵和教师概率的KL散度(蒸馏权重α=0.60)。还进行Platt概率校准和阈值选择。比较模型包括单决策树、ElasticNet逻辑回归和标签训练的RuleFit。
主要结果如下:
3.1 性能、保真度与紧凑性
3.1.1 分类性能:通过改变Top-K规则预算,学生模型ROC-AUC在低预算时快速上升,随后趋于平稳;400树教师下学生用65.0±13.7条规则达到0.8325±0.0227的ROC-AUC,接近教师的0.8389±0.0222。
3.1.2 教师-学生保真度:通过计算原始概率的Pearson相关系数、KL散度和均方误差,学生达到0.9607±0.0112的Pearson保真度,KL=0.02769±0.01129,MSE=0.01126±0.00475。
3.1.3 紧凑性与结构压缩:教师容量从100增至1000棵树,去重活跃路径从约3318增至33266,而所选规则预算仅从约50增至75-80,导致活跃路径压缩因子从约66增至400以上。
3.2 消融与阴性对照:通过移除Top-K选择、近端稀疏化、知识蒸馏以及随机替换规则、打乱权重、翻转符号,发现Top-K选择主要将表示规模从361.4±94.4降至65.0±13.7;移除近端稀疏化导致Top-K不可行;移除知识蒸馏使规则数增至360.0±108.4;三种阴性对照严重破坏性能与保真度(如翻转符号使Pearson降至?0.9634±0.0101)。
3.3 基线模型比较:与单决策树、ElasticNet逻辑回归、标签训练的RuleFit比较,提出学生模型ROC-AUC最高(0.8325±0.0227),高于ElasticNet(0.8175±0.0175),且非教师模型中教师保真度最高(Pearson 0.9607±0.0112);配对bootstrap显示学生比ElasticNet高0.0156 ROC-AUC(95%CI [0.0035,0.0280])。
3.4 所选规则的结构:通过合并五折规则并按系数大小排序,正负系数的代表性规则均对应教师对Grade 3概率的平均倾向(正系数规则0.709-0.792,负系数规则0.267-0.278),支持范围为10.2%-28.4%;325条规则在精确规范定义下均不同,说明规则为各折特有。
3.5 跨折重现基因:325条规则中涉及1493个独特基因,最常出现的基因CDCA5、CBX2、KIF2C、CCDC170、DONSON、TICRR出现在4/5折;但无完整规则跨折重现,基因级重现不等同于规则稳定。
3.6 敏感性分析:改变保真度阈值(0.94-0.98)时,ROC-AUC保持0.830-0.836,但所选K从50增至145;蒸馏权重α在0.20-1.00间结果稳定;最小支持度从5%增至15%使候选池从933降至479,ROC-AUC仍稳定;教师概率过滤在0.20/0.80时不可行,其余可行设置ROC-AUC 0.828-0.835。1500规则上限仅在高容量教师下激活,移除后影响很小。
3.7 计算效率与部署足迹:400树教师与Top-K学生比较,端到端延迟降低约46%(0.491±0.014降至0.264±0.002 ms/样本),序列化部署大小减少76%(2.765±0.019降至0.656±0.004 MiB),峰值进程RSS从388.6±0.4降至317.4±0.6 MiB;主要计算成本在离线规则构建。
3.8 补充分级边界与保真度阈值敏感性:Grade 2 vs 3在0.96保真度下所有折可行,学生ROC-AUC=0.8137±0.0195,K=90.0±13.7;Grade 1 vs 2在同一保真度下所有折不可行,放松至0.90时3/5折可行,0.92时1/5折可行,0.94和0.96均不可行,说明可行性依赖分级边界、教师判别力和样本特征。
3.9 教师-学生ROC-AUC配对不确定性:配对bootstrap显示ΔAUC=-0.0058,95%CI[-0.0120,0.0006];非劣效性在δ=0.015和0.020时支持,在δ=0.010时不支持。
3.10 独立增殖基因集基线:与MGI五基因增殖评分比较,学生ROC-AUC在每个折均更高(均值0.8325 vs 0.7692),差值+0.0645,95%CI[+0.0478,+0.0807],说明其判别力不能仅由已知增殖信号解释。
讨论部分指出,该研究证明在显式保真度约束下,高维随机森林的概率行为可被迁移到显著更小的可执行规则表示,且教师容量增长时所需规则预算增长远慢于活跃路径空间,可能源于树集成的冗余。消融和阴性对照表明紧凑性依赖近端稀疏化、保真度约束Top-K选择、教师引导训练和规则-系数对应关系的共同作用。部署优势集中于推理阶段,离线构建成本较高。与基线的比较凸显了性能、保真度和表示复杂度之间的有利平衡。规则结构多为多变量决策区域,基因重现提供生物学背景