面向预测任务的可解释性方法:基于“特写”选项的分层解释树框架

《AI》:Explainability for Forecasting Task with Close-Up Option

【字体: 大 中 小 】 时间:2026年10月20日 来源:AI 6.5

编辑推荐:

  尽管基于机器学习的预测模型通常表现为不透明的黑箱系统,可解释性方法为促进深度学习系统的信任建立、优化计算资源以及提升模型精度提供了必要的工具。基于此动机,研究人员提出了一种专门针对预测任务的模型无关(model-agnostic)、局部(local)可解释性方

  
尽管基于机器学习的预测模型通常表现为不透明的黑箱系统,可解释性方法为促进深度学习系统的信任建立、优化计算资源以及提升模型精度提供了必要的工具。基于此动机,研究人员提出了一种专门针对预测任务的模型无关(model-agnostic)、局部(local)可解释性方法。该方法采用迭代生成的层次结构。在初始阶段,考虑少量能够分解输入的“可解释组件”(interpretable components)。在归纳步骤中,该方法论使分析人员能够在需要更高分辨率时,对特定子组件进行更深入的数据细查,从而实现更细致的探索。该框架通过调节分支因子(branching factor)天然地提供了对计算成本的控制。由此产生的可解释性树(explainability tree)与SHAP-LIME框架提供的可解释性数值具有部分而非全部的共同性质;在此方面,研究人员给出了一些理论结果。此外,数值实验提供了证据表明,两种方法之间的解释一致性(explanation coherence)从根本上得以保持。研究人员在真实世界的短期负荷预测(short-term load forecasting, STLF)LSTM编码器–解码器模型上验证了该方法的实用性。

论文解读文章

一、研究背景与问题

在机器学习预测模型日益复杂的背景下,模型往往以黑箱形式运作,其内部决策机制难以被人类理解。对于时间序列预测任务而言,模型的输入通常由包含历史特征、已知未来协变量及其他预定义信息的多维张量构成,输出则为跨指定预测视界的多步前瞻序列。这种高度复杂的输入输出结构使得模型行为的解释尤为困难,进而限制了深度学习系统在关键决策场景中的信任建立、资源优化与精度提升。
在现有可解释性方法中,KernelSHAP是一种广泛使用的模型无关事后解释框架,但其直接应用于多变量时间序列模型时面临严峻挑战。一种朴素的做法是将每个时间特征单元视为独立单位,但这将导致组合爆炸问题;尽管采样方法可以避免评估全部特征联盟,却以牺牲精度或可解释性为代价。针对时间序列场景的计算成本问题,已有若干方法被提出:TimeSHAP通过剪枝策略丢弃较早期的历史数据以降低计算开销,但其假设时间上较远的观测影响较小,这一假设并非总是成立;WindowSHAP引入了从均匀时间分割到迭代细化等多种变体,但其依赖基于“较小”Shapley值的阈值来指导后续操作,可能阻碍算法从分类任务向预测任务的适配,尤其是在处理较长预测视界时;SeqSHAP则通过时间分区提供子序列级解释,但未考虑序列贡献之和与初始阶段总贡献之间的误差,因而层次结构不一定得到保证。
正是针对上述方法的局限性,研究人员提出了一种基于可解释组件、可通过“特写”(close-up)操作由预测人员知识驱动迭代细化的新方法论。该方法的优势包括:基于最大分支因子实现计算成本控制、可灵活应用于特定情境、在生产预测周期中实现简单、分析层级可自适应调整、以及跨步骤的解释一致性。

二、研究内容与核心发现

研究人员提出了一种模型无关、事后(post hoc)且归纳式(inductive)的可解释性方法,其核心思想是:从初始可解释分解出发,计算相应的可解释性向量;在归纳步骤中,对特定组件进行子分解,通过“特写”方式在更高分辨率下分析数据。该过程可迭代进行,直至获得足够精细的解释粒度。最终结果构成一棵可解释性树(explainability tree),其节点提供不同粒度层级的解释,根节点为初始偏差,叶节点为最终的可解释性向量。
该可解释性树满足四项一致性属性:分解贡献性(各子组件贡献之和等于父组件贡献)、局部对称性(共享同一父节点且局部边际贡献相同的组件获得相同解释值)、全局效率性(所有叶节点贡献与初始偏差之和等于模型预测值)、以及带误差的全局零值性(全局边际贡献为零的组件其解释值仅含误差项)。
在误差分配策略上,研究人员基于最大熵原理采用均匀分布作为基线,将每次特写中的估计不确定性误差按等比例分配至各子组件,从而保证层次结构的完整性。该方法与KernelSHAP的关系在理论上得到部分刻画:在特定条件下,叶节点的解释值与完全分解博弈的Shapley值一致;但直接计算完全分解的Shapley值将导致层次结构的丧失,而这正是该方法的根本前提——最优分解并非先验已知。

三、关键技术方法概述

研究人员采用了以下主要技术方法:其一,基于KernelSHAP框架的加权最小二乘优化,通过构造加权成对数据集并嵌入约束条件求解可解释性向量,采用条件期望的边际化方式(与?trumbelj和Kononenko方法一致)处理缺失值;其二,分层迭代分解策略,通过初始分解与归纳式特写操作构建可解释性树,每步通过误差修正保持层次一致性;其三,计算成本控制机制,通过调节分支因子将总联盟数控制在可管理范围内,在样本量为100时仅需70次模型调用(对比KernelSHAP的2046次)。案例研究基于墨西哥国家能源控制中心(CENACE)的真实生产模型,输入为15个变量的每小时多变量时间序列(含日历、需求、温度、体感温度及10个节假日二元数据),模型为LSTM编码器–解码器结构,编码器含100个隐藏状态、输入窗口180小时,解码器含100个隐藏单元、输出36小时预测,训练集包含118,969个数据点(2010年1月1日至2023年8月6日)。

四、研究结果

4.1 与KernelSHAP的实验对比
研究人员通过三个不同输入画像(夏季、冬季、节假日)评估了方法对掩码样本量的鲁棒性。实验结果表明:(1)随样本量增加,估计可解释性值的标准差有所下降但幅度不显著,即使样本量仅为100,标准差也在可接受范围内,与KernelSHAP的稳定性基本一致;(2)处理时间显著缩短——在Apple M4计算机上,100个样本时KernelSHAP约需112秒,而所提方法在所有情况下均少于4秒,KernelSHAP调用模型2046次而所提方法仅调用70次。
在解释一致性方面,三种树配置下与采样KernelSHAP的平均差异约为10?3量级;符号变化率从5.6%增至9.0%,但发生符号变化的值约为保持符号值的十分之一,且大部分接近零。Spearman秩相关系数在所有三种树配置下均超过0.96,表明解释组件的重要性排序与KernelSHAP高度一致。
方差分解分析表明,在全年50个输入样本上,解释贡献的变异性主要由未来视界特征主导——未来天气和未来日历分别占72.75%和22.69%,短期历史特征贡献中等(日前日历占约4.56%,前1-12小时负荷需求占约1%),其余组件(含节假日)合计仅贡献约0.06%。研究人员指出,这并不意味着方法对节假日不敏感,而是由于全年节假日数量极少,其总体方差贡献可忽略。
在误差修正的作用方面,省略误差修正后Spearman系数从0.96降至0.94,符号变化率从5.6%降至4.6%,但层次结构丧失且与Shapley值的平均距离从10?3增至10?2量级。在分布外样本测试中,采用同月历史数据的选择性采样与一般随机采样相比,标准差约为10?3量级,与随机采样本身的内在变异性相当。
4.2 多重特写的粒度分析
研究人员通过连续特写构建了完整的可解释性树。初始分解包含四个组件,其中节假日组件的平均贡献仅占所有初始组件平均贡献之和的0.06%,因此被省略进一步分析。对剩余组件,通过将时间区间划分为不相交子区间进行迭代细化。
对负荷需求组件(包含过去180小时数据),经过三次迭代生成九个子组件的叶子子树。特写分析显示,解释画像在所有时间点上保持一致且连贯,在预测前30小时内发生显著变化——这正是历史事件重要性开始显著衰减的临界点。预测视界越长,过去事件被赋予的重要性越低。
对日历过去组件,经过三次迭代生成18个子组件的叶子子树,其中12个子组件对应解码器特写。最大贡献分布在预测前72小时与预先已知的未来日历数据之间。值得注意的是,解码器日历数据中某组件的可解释性值接近零,但后续迭代的特写揭示这并非意味着该区间内所有子组件值均可忽略,而是相反方向的贡献(约10?3量级)相互抵消。
在整个分析过程中,仅需考虑352个联盟,远少于若预先已知完全分解配置时采样KernelSHAP所需的21?个联盟。

五、结论与讨论

研究人员提出了一种基于LIME和SHAP原理的模型无关框架,用于解释输入X对预测Y的贡献,允许分析人员按问题情境所需的分辨率层次化地细化解释,从而生成多分辨率可解释性叙述。在两种产生相同最终组件的替代树配置上验证了方法的有效性,解释一致性得以保持。尽管该方法不保留Shapley值的全部公理且继承了其部分弱点,但在特定条件下具有实际效用,其优势包括:通过分支因子精确管理执行时间(即使在高分辨率或详细解释场景中);每个特写仅需指定输入X的分区字典和重构有效输入的拼接函数,核心流程可统一处理初始与归纳步骤;框架不依赖模型f的内部结构,可无缝集成到生产预测流水线中;在模型开发阶段可作为探索模型行为动态的灵活工具;底层方法为自动化可解释性树生成流水线奠定了基础,例如可考虑固定分支因子和期望最小粒度以获得“无监督”可解释性图谱。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号