《Computers & Industrial Engineering》：Anomaly detection in data warehouse using machine learning techniques
编辑推荐：
摘要数据利用量的指数级增长使得数据仓库成为存储海量信息的关键组成部分。然而，存储在这些存储库中的数据可能包含异常值，这会对分析结果的可靠性和质量产生不利影响。因此，检测数据仓库中的异常已成为确保数据完整性的重要关切。在本文中，我们提出了一种新的无监督方法，该方法使用一组基本检
摘要
数据利用量的指数级增长使得数据仓库成为存储海量信息的关键组成部分。然而，存储在这些存储库中的数据可能包含异常值，这会对分析结果的可靠性和质量产生不利影响。因此，检测数据仓库中的异常已成为确保数据完整性的重要关切。在本文中，我们提出了一种新的无监督方法，该方法使用一组基本检测器来描述仓库表，并通过共同的严重性尺度使它们协同工作。数值属性的主方向上的偏差、边缘偏差、符号的罕见性、类别模式之间意外的组合以及类别内数值属性的条件偏差，都通过在一组参考集上估计的经验围栏转换为严重性，该方法会自动清理该参考集。一条记录的分数是所有检测器中观察到的最大严重性，在此聚合分数上校准一个单一的全局阈值，该阈值考虑了同时评估的多个检测器的多重性。在校准的任何阶段都不使用标签，并且每个警报都会附带产生该警报的检测器名称。我们在从电子商务公司的数据仓库中提取的真实数据集上演示了该方法的有效性。该方法达到了93.98%的精确率、95.75%的召回率、94.85%的F值以及0.125%的假阳性率，并且在一台普通笔记本电脑上（无需图形加速器）不到两分钟内处理完整个测试集。这些结果使我们的方法成为跨多种领域和应用的、可靠且低成本的数据仓库异常检测工具
引言
近年来，海量数据的处理变得日益重要，数据仓库被广泛用于存储此类数据。然而，存储在数据仓库中的数据可能包含异常值，这会对从此数据获得的结果质量产生负面影响。尽管在将数据加载到数据仓库之前，抽取、转换和加载（ETL）工具会对数据进行处理和转换，但由于需要验证的数据量庞大，某些异常值可能会未被注意到。这些异常值可能是由输入错误、技术故障或数据中的异常事件引起的（Kimball & Ross, 2013）。有时，它们可能在转换过程本身中产生，导致新的异常值（Han et al., 2011）。因此，加载后的数据验证变得必要。
因此，检测数据仓库中的异常已成为确保从此数据获得的结果质量和可靠性的重要关切。此外，机器学习技术已证明其在检测各种性质异常值方面的有效性（Dunning, 2014, Nassif et al., 2021）。在此背景下，本研究旨在应用机器学习技术，自动且高效地识别数据仓库中可能存在的不同类型的异常值。
因此，在本文中，我们提出了一种新的无监督方法，该方法基于一组基本检测器，每个检测器专门针对仓库表应满足的一种规律性形式：数值属性之间的线性关系和乘积关系、可接受的符号、类别模式的合理组合，以及数值属性在给定类别内的行为。单独来看，这些检测器很简单，并且它们产生的数量不可比较。我们工作的贡献恰恰是使它们作为单一决策过程运作的机制：每个统计量都通过在一个参考集上估计的围栏转换为严重性，该参考集由方法本身自动清理，严重性通过最大值进行聚合，然后在此聚合值上校准一个单一的全局阈值，该阈值考虑了同时评估多个检测器的事实。每条被报告的记录都会附带负责该警报的检测器名称，这使得每个决策都能由负责仓库质量的人员进行审计。
本文结构如下：第2节介绍数据异常检测的现状。第3节描述检测数据仓库异常的方法及其与先前方法相比的优势。第4节介绍用于研究的数据。第5节介绍并分析将新方法应用于真实数据仓库的结果，并将其与现有方法进行比较。最后，第6节总结了本文并概述了未来的研究方向。
章节摘要
现状
数据异常检测已成为众多应用中的主要关切，从工业系统监控到医疗数据分析。多年来，根据应用和数据性质不同，提出了各种检测异常的方法。例如，一些方法被开发用于检测图像数据中的异常，如（Pourhashemi和Mahmoudzadeh, 2022, Wheeler和Karimi, 2021, Pinaya等人, 2022），而另一些方法则专注于视频数据，如（Ullah
混合数据异常检测的新方法
我们的新方法是无监督的，它始于对数据仓库内容的一个简单观察：一条记录很少在绝对意义上是异常的，它是异常的，因为它违反了表中其余部分所遵守的规律之一。这些规律的性质各不相同。其中一些是数值属性之间的关系，例如总金额是数量与单价的乘积。其他规律则涉及单个属性，例如
用于研究的数据介绍
本研究使用的数据来自一家电子商务公司的数据仓库。数据来源于销售事实表，该表记录了公司处理的订单行，并在12个月的期间内提取。每条记录描述一个订单行，包含订单的地理信息、产品类别、订单放置的商业渠道、优先级、订单和发货日期，以及数量和金额
结果与讨论
我们的新方法旨在运行在数据质量团队的普通设备上，而不是专用的计算基础设施上。三个特性解释了这一点。首先，方法估计的所有参数都以封闭形式获得：主成分分析、中位数、中位数绝对偏差和频率表。没有迭代优化，没有学习率，也没有需要搜索的架构，因此校准只需对数据进行少量且固定的遍历次数
结论
在本文中，我们提出了一种使用机器学习技术在数据仓库中进行异常检测的新方法。我们没有用单一的全局模型来描述表，而是将每个基本检测器与仓库应满足的每种规律性形式相关联，并通过将每个检测器转换为严重性来使这些检测器协同工作，该严重性通过在一个参考集上估计的围栏获得，参考集由方法本身自动清理，严重性通过最大值进行聚合，
CRediT作者贡献声明
Nawfal El Moukhi：写作—审阅与编辑，写作—初稿撰写，可视化，软件，方法论，形式分析。Ikram El Azami：软件，方法论。
未引用参考文献
Goodfellow等人，2016年；Thudumu等人，2020年；Turban，2015年；Witten等人，2011年。
利益冲突声明
作者声明他们没有已知的竞争性经济利益或个人关系，这些利益或关系可能会影响本文报告的工作。
Nawfal El Moukhi|Ikram El Azami
计算机科学与系统实验室（LIS），阿因·乔克科学学院，哈桑二世卡萨布兰卡大学，摩洛哥
