基于图嵌入的AI驱动ETL系统中数据不一致性的时间依赖性建模

《Scientific Reports》：Temporal dependency modeling of data inconsistencies in AI-driven ETL systems using graph-based embeddings

　　

摘要

随着异构数据源、高速度数据以及各种不一致性问题的出现，包括缺失值、数据重复、模式冲突和更新延迟等，要在人工智能驱动的提取、转换、加载（ETL）系统中保持数据一致性变得越来越困难。传统的基于规则的验证框架无法有效处理现代数据管道中存在的复杂关系和时间依赖性。为解决这些问题，本文提出了一种基于时间图嵌入模型（TGBEM），该模型结合了图神经网络（GNN）来学习结构关系，以及时间卷积网络（TCN）来捕捉随时间变化的趋势。该框架将ETL数据转换为图形特征，以展示数据实体之间的关联，并通过时间序列分析来检测不同时间步长下的不一致性变化。该模型在真实的基准数据集以及模拟生成的ETL数据集上进行了测试，这些数据集模拟了数据管道中的实际情况，如多源冲突和时间漂移。实验结果表明，所提出的TGBEM模型的性能远远优于传统的深度学习方法，其准确率为95.80%，精确率为94.95%，召回率为93.70%，F1值为94.32%，AUC值为96.10%。此外，该模型的检测延迟更低，因此适用于近乎实时的ETL数据验证。对比实验和消融实验也表明，结合图结构和时间学习机制对于提升检测性能至关重要。这些结果说明，混合图时间模型可有效用于解决下一代人工智能驱动的ETL系统中的不一致性问题。