基于特征分析的查询驱动型可解释分析立方体连接发现方法

《Information Sciences》：Query-driven explainable join discovery of analytic cubes based on profiling

　　摘要
数据存储库的迅速增长使得用户难以了解其中的内容，也难以理解不同数据集之间的关联，这就增加了对高效数据发现工具的需求，这类工具能够帮助分析人员找到相关数据。联合发现是一种可能的策略，即寻找基于共同属性可以相互连接的表。本文提出了一种针对分析中常用数据结构——多维数据集或分析立方体——的新的联合发现方法。该方法利用分析立方体的独特结构，采用“轮廓”这一概念，即用于描述数据分布的元数据。具体而言，我们提出了一种基于轮廓、以查询为驱动的联合发现模型，该模型允许用户根据声明式查询确定可连接的立方体候选项，并对候选项进行排序和定性评估。通过大量实验，我们验证了该方法的效率和有效性。这种结合了模式层和内容层信息的双重方法，提升了联合发现的表达能力以及结果的清晰度，从而使分析过程更加直观易懂。

引言
在大数据管理中存在诸多挑战，尤其是在将数据转化为可用信息方面。其中，诸如开放数据存储库和数据湖之类的大数据环境不断扩张，使得难以定义一个统一的模型来描述来自不同来源的异构数据集之间的关系。此外，用户往往不了解存储在存储库中的数据集及其内容，这就进一步增加了对数据集发现工具的需求，这类工具能够帮助分析人员找到相关数据。数据集发现的一种形式就是联合发现[1]、[2]、[3]、[4]，其目标是为找出可通过连接键与查询表相连的表。

许多大数据资源都以分析立方体的形式存在。分析立方体的特点是一组指标，即分析中感兴趣的定量数据，这些数据会沿着多个维度进行聚合，通常具有不同的粒度级别。通过在这些维度上连接数据项，可以整合不同的分析立方体，以便比较和分析各种指标。然而，不一致、稀疏或有噪声的数据立方体较为常见，这会让数据发现和集成工作变得十分耗时且困难。

示例1
联合国全球数据库通过230多个指标来监测可持续发展目标。分析贫困率（指标1.1.1）与新艾滋病感染病例数（指标3.3.1）之间的关系，可以发现数据存在显著差异。艾滋病数据集包含42,851条记录，而与贫困相关的两个数据集分别包含9,211条和12,879条记录。当将这些数据源连接起来进行交叉参考时，结果数量大幅减少：将艾滋病数据与第一个贫困数据集合并后仅得到1,162条记录，而与第二个数据集合并后则只有3,099条记录。原因是不同国家的数据收集起始年份不同，且方式也不连续，从而导致数据立方体较为稀疏，或者不同指标采用了不同的聚合级别（例如使用“BOTHSEX”而非“MALE/FEMALE”）。将贫困指标与其他疾病指标相结合，或许能获得更具代表性的数据。可惜的是，只有在完成整个数据处理流程（包括数据下载、表格分析以及连接操作）之后才能发现这一点。

在大数据场景中，当存在多个可能互补的数据源时，问题会变得更加复杂。在这种情况下，用户必须确定哪一部分数据源最能满足他们的分析需求。随着数据源数量的增加，由于可选组合的数量呈指数级增长，彻底搜索所有可能的连接方式就会变得难以实现。下面通过一个具体的示例来说明这一问题，同时展示所提出的方法并对其进行评估。

示例2
PureAir和GreenSense是两家独立公司，它们通过分布在意大利各地的传感器来收集和监测环境污染数据。PureAir每天都会收集空气质量数据，每条记录包含传感器所在城市、测量日期以及平均空气质量指数。这些数据被分为四个不同的数据源，分别是中南部、西北部、中北部和东北部。GreenSense则负责收集车辆流量数据，每条记录包含传感器所在城市、测量时间以及日均流量值。同样，这些数据也被分为两个数据源，分别是交通中心区和北部交通区。为简化表述，下文将这两个数据源分别记为：Scs=中南部，Snw=西北部，Scn=中北部，Sne=东北部，Stc=交通中心区，Stn=北部交通区。图1展示了这些数据源的部分内容。

假设这两家公司共享数据，以研究多个城市和日期下车辆流量值与空气质量指数之间的相关性。整个处理流程包括多个步骤，首先是要确定相关的数据源。具体来说，需要找到包含所需指标且在指定维度级别（即城市和日期）上有对应数据的源。这项任务颇具挑战性，因为需要探索格式、结构和命名规则各不相同的异构数据集。在本题例中，两家公司都是按地理区域来划分数据源的。因此，一种自然的策略是将位于同一区域的源进行关联，比如Stc和Scn。然而，仅凭地理覆盖范围并不能保证能够实现有意义的连接。如图2所示，由于传感器部署位置不同，这两个数据源仅共享部分地区的少数城市数据。因此，如果仅依赖先验假设而非实际数据分布，就可能导致不合适的源组合。另一方面，在大规模数据湖中，逐一评估所有可能的连接方式在计算上是不切实际的。虽然以参考数据集作为起点可以简化联合发现过程，但它无法反映典型的分析场景，因为在实际分析中，分析目标是基于业务需求而非特定数据集来确定的。

为解决这些问题，本文提出了一种针对分析立方体的、以查询为驱动的联合发现框架。该框架从对所需指标和维度的声明式描述出发，结合模式层和内容层的信息，自动识别候选立方体，评估它们之间连接的实用性，对不同方案进行排序，并在连接操作执行之前解释预期结果。

本文的贡献主要体现在以下几个方面：
• 我们对多维数据源的数据模型进行了形式化定义，并通过“轮廓”这种形式对数据源内容进行抽象表示，从而高效地编码不同粒度级别下的数据分布。我们还定义了数据源属性与全局模式之间的映射关系，该全局模式包含了指标和维度的定义。
• 我们提出了联合发现问题的新表述方式，即一种基于轮廓、以查询为驱动的多键联合发现方法。这种表述方式具有目标导向性，且允许根据轮廓来指定数据源的识别和选择条件。
• 我们还进一步利用轮廓来提升结果的可解释性，通过从轮廓中高效计算出结果的数据分布情况，从而丰富联合发现查询的反馈信息。
• 当一个查询存在多种解决方案时，我们提出了一种基于连接基数高效估算的排序方法。
• 我们通过理论分析以及大量实验，评估了该方法在多种场景下的效率和有效性。

该方法的独特之处在于结合了模式层信息与数据源轮廓，以此来驱动查询处理并提高结果的可解释性。这种双重方法使得联合发现更加灵活，同时通过清晰地说明结果的生成方式，提高了结果的透明度，有助于用户更好地理解数据。

本文是在作者之前所做工作的基础上发展而来的[5]，之前的研究仅基于模式层信息提出了类似的问题表述。本文则通过引入数据源轮廓分析，使得分析目标的表述更加丰富，能够更充分地体现内容层信息的作用。

本文的其余结构如下：第2节旨在将所提出的方法置于现有研究体系之中进行定位。第3节阐述该方法的具体实现方式，包括数据模型的形式化定义、查询处理算法以及结果解释方法。第4节介绍了基于语义技术的实现方案，第5节则报告了为评估该方法效率与有效性而进行的实验结果。最后，第6节对全文进行总结，并指出了未来的研究方向。