从XAI到MLOps：基于偏依赖剖面的可解释概念漂移检测方法

《Future Generation Computer Systems》：From XAI to MLOps: Explainable concept drift detection with the partial dependence profiles-based approach

　　乌古尔·达尔 | 穆斯塔法·卡武斯
埃斯基谢希尔技术大学，统计系，埃斯基谢希尔，26555，土耳其

**摘要**
预测模型的性能往往会因为数据分布的变化而下降，这种现象被称为数据漂移。其中，概念漂移——即解释变量与响应变量之间的关系发生变化——尤其难以检测和适应。传统的漂移检测方法通常依赖于准确性或边际变量分布等指标，但这些指标可能无法捕捉到微妙但重要的概念性变化。本文提出了一种新的方法——轮廓漂移检测（Profile Drift Detection，简称PDD），该方法通过利用可解释的AI工具——部分依赖轮廓（Partial Dependence Profiles，简称PDPs）来同时检测概念漂移并深入理解其根本原因。PDD通过新的漂移指标量化PDPs的变化，这些指标对数据流中的变化非常敏感，同时保持计算效率。这种方法符合机器学习运维（MLOps）的实践，强调在动态环境中进行持续模型监控和自适应重新训练。在合成数据和真实世界数据集上的实验表明，PDD在保持高预测性能的同时，有效平衡了漂移信号的敏感性和稳定性。结果突显了其在实时应用中的适用性，文章最后讨论了该方法的优点、局限性以及潜在的扩展用途。

**引言**
预测模型中的平稳性和无偏分布假设认为训练集和测试集中的观测值是独立同分布的[1]。然而，这一假设在实践中往往不成立，导致预测模型的性能显著下降[2]。数据特征会随时间变化，使得训练好的模型变得过时，从而需要适应这些变化。数据流的不断演变给预测模型带来了新的挑战[3]。这些模型必须具备高预测准确性，并能在保持计算轻量化的同时快速整合新信息[4]。作为MLOps的一部分，模型监控已成为预测建模过程中的必要补充，以确保机器学习模型在真实世界应用中表现出一致的行为[5][6]。
导致行为不一致的问题之一是数据漂移，其类型可分为三类：（1）协变量漂移，（2）标签漂移，（3）概念漂移。数据漂移可能以多种形式表现出来，例如由于疫情相关的封锁导致电力消耗增加[7]、航空公司客户行为的变化[8]，以及由于消费者行为演变导致的供应链规划调整[9]。除了表格数据外，漂移检测在专门领域也变得至关重要，例如通过多模态特征融合识别AI生成的内容[10]，以及为工业物联网生态系统中的入侵检测开发可解释框架[11]。及时检测这些漂移对于采取预防措施至关重要。

**数据漂移检测方法**
用于检测数据漂移的方法可分为三类：统计方法、基于序列分析的方法和基于窗口的方法。对于检测概念漂移（即解释变量与响应变量之间关系的变化），现有方法有时会存在不足[12][13][14]。这一局限性凸显了需要MLOps的必要性，MLOps整合了模型监控和适应策略以有效应对数据漂移。MLOps实践侧重于保持模型性能和管理变化，使预测模型能够实时适应动态数据环境。一个特别具有挑战性的情况是当概念漂移发生时，性能和分布指标没有变化，导致传统检测方法不可靠。针对这种情况，一些替代方法被提出，但这些方法在检测概念漂移方面仍存在不足。
此外，[12]指出，当前的数据漂移检测方法仅依赖于性能和分布指标，这不足以理解模型变化的根本原因。他们开发了一种使用局部可解释模型无关解释的替代方法[15]，并通过比较研究证明其检测性能优于现有方法[13]。 [13]使用标准化的SHAP方法[16]来检测COVID-19后急诊科停留时间预测模型中的数据漂移，指出传统方法未能反映模型信息利用的变化[17]。 [17]开发了一种使用基于排列的变量重要性[18]值来检测概念漂移的方法。然而，他们强调了需要解决复杂性、有效性、敏感性和可解释性问题，以便该方法能够有效应用[14]。 [14]使用SHAP方法计算变量重要性时观察到了模型中的数据漂移，他们面临的最大挑战是无法区分协变量漂移和概念漂移，主要是由于XAI工具的使用不当。虽然SHAP提供了足够的变量重要性信息，但它无法检测解释变量与响应变量之间的关系[6]。 [6]指出，统计测试仅基于数据分布进行，可能导致误报。他们的研究开发了一种用于回归问题的可解释概念漂移检测方法，该方法结合了非参数自助法不确定性估计和SHAP值[19]。 [19]指出了缺乏关注概念漂移检测方法原因和可解释性的研究。他们开发了一种基于决策树模型的技术来检测和可视化概念漂移，通过识别决策树划分的区域变化来实现[20]。然而，他们讨论了该方法的局限性，如持续训练模型的成本以及跟踪模型选定的有限变量的可行性。此外，当使用非树基模型时，该方法可能会评估与决策过程中不同的关系，因此树基方法更为合适[21]。 [17]开发了一种使用基于排列的变量重要性值来检测概念漂移的方法[22]。同样，[7]开发了一种用于增量模型的增量排列基变量重要性方法[23]。然而，他们强调为了有效应用该方法，需要解决复杂性、效率、敏感性和可解释性方面的问题。

**关于XAI工具的数据漂移检测方法**
关于使用XAI工具的数据漂移检测方法的文献较少。即使使用了这些方法，它们在某些数据漂移情况下仍面临挑战，或者依赖于高计算成本的方法，如基于排列的变量重要性或SHAP。这些方法并不总是适用于检测响应变量与解释变量之间关系的变化。因此，本文介绍了一种基于部分依赖轮廓（PDP）的解决方案，PDP是一种用于揭示响应变量与解释变量之间关系的XAI工具。它不仅用于检查响应变量与解释变量之间的关系，还用于超参数优化[20]、确定变量重要性[21]、通过Rashomon视角提供更准确的解释并量化不确定性[22][23]。
除了包含数据漂移检测方法的科学文献、软件和技术外，这些工具的实际应用也相当有限。尽管有一些基本的R工具（如vetiver框架和pins）用于监控模型指标，但它们并不提供专门的数据漂移监控工具。另一方面，drifter提供了基于分布距离、残差和两个模型PDPs的数据漂移检测功能，但它仅限于比较两个训练好的模型，不适用于流式数据。Harbinger提供了一些用于检测异常、漂移和变化点的功能，但主要针对时间序列数据。虽然R和CRAN在模型监控方面还不够成熟，但有许多技术和Python库可供使用，如EvidentlyAI[1]、SeldonIO[2]、NannyML[3]、Frouros[4]、River[5]。

**提出的方法**
为了解决这些不足，我们提出了一种基于可解释AI技术的新型概念漂移检测方法——轮廓漂移检测（PDD）。PDD利用部分依赖轮廓来监控生产环境中的概念漂移。我们研究的主要贡献有三方面：首先，我们介绍了PDD作为一种可解释的漂移检测方法，通过三个互补指标（PDI、L2和L2Der）量化变量与目标变量之间关系的变化；其次，通过对合成数据和真实世界数据集的全面实验，我们证明了PDD在保持高预测性能的同时，有效平衡了漂移检测的敏感性和稳定性；最后，与黑盒方法不同，PDD提供了关于哪些变量驱动漂移及其与目标变量关系如何演变的可解释见解。

**实验**
本节比较了传统方法和PDD方法在合成数据和真实世界数据集上的表现。还描述了基准数据集的特点和实验设计。本部分使用的方法可以在R语言的datadriftR包[32]中直接使用。

**结论**
在本文中，我们在多个真实世界和合成数据集上进行了六项实验，以比较我们提出的方法PDD与最常用的概念漂移检测方法（包括HDDM-A、HDDM-W、KSWIN、PH、DDM和EDDM）的有效性。我们重点分析了模型准确性、检测到的漂移数量以及漂移发生时的变量贡献。

**讨论**
除了检测能力外，我们提出的方法还可以提供解释，以理解预测变化的原因。漂移检测后，重新训练的机器学习模型可能会不可预测地改变某些模型预测[40]。这可能导致对模型预测的不可靠结论。幸运的是，与其他统计方法相比，PDD可以提供关于模型与数据之间关系的更详细信息。这样，模型用户可以更好地理解模型行为。

**进一步研究**
PDD的一个关键实际问题是PDP评估的计算成本。在本研究中，采用了压缩然后解释的策略[39]来解决这一瓶颈：如表8所示，结合子样本减少（N=30）和网格压缩（G=10）使速度提高了4.9倍，同时保持0.2个百分点的准确性。这些结果与表1中的理论分析一致，证实了分布压缩是一种有效的加速方法。

**作者贡献声明**
乌古尔·达尔：撰写——原始草稿、可视化、软件、方法论、资金获取、正式分析、数据整理。
穆斯塔法·卡武斯：撰写——审阅与编辑、监督、概念化。

**利益冲突声明**
作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：乌古尔·达尔报告获得了埃斯基谢希尔技术大学的财务支持；穆斯塔法·卡武斯报告获得了土耳其科学技术研究委员会的财务支持。如果还有其他作者，他们声明没有已知的财务利益或个人关系可能影响本研究。

**致谢**
本项工作得到了土耳其科学技术研究委员会在2210C国家硕士奖学金计划（优先领域为科学技术）下的资助（授权号1649B022303919），以及埃斯基谢希尔技术大学科学研究项目委员会的资助（授权号22L?T175）。