通过特征贡献和MDI特征重要性来解读Deep Forest模型

《ACM Transactions on Knowledge Discovery from Data》：Interpreting Deep Forest through Feature Contribution and MDI Feature Importance

Deep Forest作为非可微的深度模型在多种应用中表现优异，但其深层特征解释性不足。本文提出分层估计-校准方法，设计特征贡献和MDI重要性计算工具，实验表明该方法在模拟数据和真实数据上有效提升了深层特征的解释能力。

　　

摘要

Deep Forest是一种不可微分的深度学习模型，在各种应用中取得了令人瞩目的实证成功，尤其是在分类/符号或混合建模任务中。许多应用领域更倾向于使用可解释的模型，例如随机森林，它能够为每个预测提供特征贡献的局部解释；同时，Mean Decrease Impurity（MDI）算法可以提供全局特征重要性。然而，作为随机森林的级联结构，Deep Forest仅在第一层具有可解释性。从第二层开始，许多树的分裂是基于前一层生成的新特征进行的，这使得现有的随机森林解释工具无法适用。为了揭示深层原始特征的影响，我们设计了一种计算方法：该方法包括估计步骤和校准步骤，针对每一层分别进行计算，并提出了用于Deep Forest的特征贡献和MDI特征重要性计算工具。在模拟数据和真实世界数据上的实验结果验证了这些方法的有效性。