基于假设的高维ETL管道特征稳定性评分方法
《Applied Sciences》:Hypothesis-Informed Feature Stability Scoring for High-Dimensional ETL Pipelines
【字体:
大
中
小
】
时间:2026年06月30日
来源:Applied Sciences 2.5
摘要
高维金融领域的提取-转换-加载(ETL)流程中常常包含各种异构变量,这些变量的统计特性在数据多次输入时可能会发生变化,从而影响下游机器学习模型训练前的特征可靠性。本研究在先前提出的基于堪培拉的数据漂移监测框架基础上进行了扩展,加入了基于假设的特征稳定性评估模块,以实现特征的自动化评估与优先级排序。与以往仅依赖单变量和双变量探索性指标的描述性框架不同,该扩展模型增加了推断层,用于评估这一层如何改变特征的排序顺序,相较于原始得分及其他边际漂移度量标准而言。该方法结合了汇总统计中的单变量偏差、与依赖性相关的双变量偏差,以及来自安德森-达林检验、曼-惠特尼U检验和莱文检验的基于假设的检测结果。所得到的p值通过兰道校准的谐波平均p值公式进行聚合,进而转化为有界假设得分,最终整合为综合性的变量级稳定性排序。该框架利用预先计算好的探索性数据分析(EDA)结果,能够实现经过验证的参考数据集与当前ETL处理结果之间的可扩展对比。所提出的扩展方法为识别不稳定特征提供了一种既具有可解释性又高效能的机制,有助于在自动化的机器学习流程中对特征进行审查、排除或确定优先级。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号