TFIDD：用于快速实现模型无关漂移检测的自适应动态方法

《Scientific Reports》：TFIDD: Adaptive dynamics for fast model-agnostic drift detection

　　

摘要

概念漂移会降低预测性能并破坏模型适配能力，从而给流式学习和持续学习系统带来严峻挑战。现有的基于误差和基于分布的检测方法往往难以在灵敏度与稳定性之间取得平衡，因此在存在噪声或渐进式漂移的情况下，要么出现过多误报，要么无法及时适应变化。我们提出了TFIDD（时间特征重要性漂移检测器），这是一种全新的与模型无关的漂移检测框架，它通过监测特征重要性的动态变化来工作，而非仅仅依赖预测误差或边际分布的变化。TFIDD的创新之处在于将自适应的Top-k特征选择、时间平滑处理以及基于置信度的冻结机制整合到统一的特征驱动检测框架中，从而实现精准的漂移定位，同时减少误报并保持模型的可解释性。该检测器通过使用自适应分位数阈值，比较当前特征表示与经过历史权重调整的基准值之间的余弦散度来识别漂移。在包括SEA、RBF、电力数据、森林覆盖类型、Aggarwal以及气体传感器数据集在内的多种合成数据和真实数据集上的实验表明，TFIDD能够在不同的基础学习模型上实现响应速度与稳定性的良好平衡。在SEA数据集上，TFIDD在漂移发生后的准确率为0.8426，误报率为0.0278；而在气体传感器数据集上，其在有标注的漂移情况下仍能保持0.0023的极低误报率，并实现稳定的模型恢复。在各项测试中，与那些反应过度的检测方法相比，TFIDD减少了不必要的误报，同时在突发性、渐进性和反复出现的漂移情况下仍能保持良好的检测效率。通过实时追踪导致漂移的特征，TFIDD为长期运行的自适应系统提供了良好的可解释性和实用性。