《Visual Informatics》：DFCollection: Scalable and hierarchical visual exploration of data facts
编辑推荐：
探索性数据分析（EDA）旨在揭示有意义的数据事实，以支持理解与决策。然而，现有自动化EDA系统在可扩展性、层次化探索以及跨异构子空间的相似性计算方面仍面临挑战。为解决这些问题，研究人员引入了事实集合（fact collection）的概念，该概念依据共享的子空
探索性数据分析（EDA）旨在揭示有意义的数据事实，以支持理解与决策。然而，现有自动化EDA系统在可扩展性、层次化探索以及跨异构子空间的相似性计算方面仍面临挑战。为解决这些问题，研究人员引入了事实集合（fact collection）的概念，该概念依据共享的子空间维度组织数据事实，以实现可扩展且层次化的探索。研究人员开发了DFCollection，一个用于数据探索的可扩展层次化可视分析系统。该系统包含一个用于事实提取与相似性计算的数据准备（Data Preparation）模块，以及一个包含三个协同视图的数据探索（Data Exploration）模块：用于集合概览的集合视图（Collection View）、用于层次化探索的集合-事实视图（Collection-Fact View），以及用于相似性可视化的实事视图（Fact View）。事实画廊（Fact Gallery）额外支持记录与回顾有趣的发现。研究人员通过两个使用场景和一项包含13名参与者的用户研究对DFCollection进行评估。结果表明，DFCollection有效提升了数据事实探索的可扩展性、可解释性与可用性。
研究背景方面，探索性数据分析（EDA）致力于从数据中发掘有趣的事实并获取知识，所获得的数据事实对促进后续分析与支持决策具有重要作用。近年来，众多自动化与交互式EDA工具被开发出来，部分工具已超越对单个数据事实的识别，转而通过引入相似性度量与分析整体分布来探索事实间的关系。尽管自动化EDA工具发展迅速，研究人员仍识别出三个主要挑战。其一，可扩展性问题依然存在，现有工具如Calliope-Net仅在处理有限数量数据事实时表现良好，以避免视觉杂乱并保持单个图标的可读性，而FactExplorer等工具虽尝试纳入更多数据事实，却产生视觉上令人不堪重负的结果；这表明尽管数据集可能包含大量数据事实，当前工具仅能有效呈现有限子集。其二，对大量数据事实的探索仍具挑战性，既有研究表明层次化组织有助于在复杂信息空间中导航，但多数现有工具以基于相似性的扁平布局呈现数据事实，难以在不同粒度层次上探索关系，文献综述表明数据事实的层次化组织在很大程度上尚未被充分探索。其三，比较大量数据事实间的关系同样困难，由于每个数据事实关联一个由过滤器定义的子空间，相似性计算不仅取决于事实属性，还取决于其对应子空间的结构，现有方法主要依赖简单的基于重叠的相似性度量，当事实源自不同维度的子空间时可能难以解释。为应对这些挑战，研究人员提出DFCollection，通过将数据事实分组为集合（Collections）来实现可扩展且层次化的可视探索，相比现有系统可容纳显著更多的数据事实并保持可扩展性。具体而言，研究人员引入事实集合概念，将共享相同子空间维度的数据事实分组为单一集合，从而提升可扩展性、实现层次化探索并确保有意义的子空间相似性计算；与传统group-by或联机分析处理（OLAP）操作不同，事实集合依据共享子空间语义组织自动提取的分析事实，DFCollection将具有相同过滤属性集的事实分组，实现一致的相似性计算与层次化探索，将大量孤立事实转化为支持可扩展导航、概览到细节探索及可解释比较的结构化单元。
在技术方法上，DFCollection框架包含数据准备与数据探索两个主要模块。数据准备模块采用定制的自动化流水线，通过带基于影响度剪枝的深度优先搜索（DFS）与快速检测机制从数据集中提取数据事实、将其组织为集合，并计算单个事实间及集合间的相似性；影响度阈值设为0.01，显著性阈值设为0.80。子空间相似性采用Lin1度量，集合相似性综合维度、组成与索引三方面加权计算。数据探索模块提供集合视图（采用Voronoi式布局与多维标度MDS投影）、集合-事实视图（借鉴Hi-D Map的多边形递归细分布局）、事实视图（基于相似性的布局与灰度密度等值线）三个协同视图及事实画廊。评估采用两个使用场景与13名参与者的半结构化访谈。
研究结果方面，第一，集合视图：通过MDS将集合投影至二维空间并采用力导向启发的重叠消除算法，以正多边形图标编码过滤器数量、以Voronoi单元蓝色深浅编码类型数量，并提供过滤器数量过滤、属性过滤与类型数量过滤三种交互过滤机制，得出该视图可帮助用户把握集合整体分布并高效定位感兴趣集合的结论。第二，集合-事实视图：将每个集合表示为多边形，各边对应维度中的一个属性，自右上边起按近边顺时针顺序递归细分，子多边形面积编码所含事实的总得分，边旁配以条形图显示各过滤值下的事实数量，支持初始、事实选中与重排序三种探索状态，得出该视图可揭示所选集合内事实的多维关系与层次分布、支持多层级探索的结论。第三，事实视图：以由外环与微型图表图标构成的圆形图标编码事实类别与类型，采用相似性布局放置图标，并叠加灰度密度等值线以概括事实得分的空间集中度，得出该视图可呈现集合内事实的得分与数量分布并辅助识别高得分区域的结论。第四，事实画廊：提供快照功能记录探索中发现的有趣事实，记录后其位置在集合视图中高亮并在右上角显示对应集合-事实视图，得出该功能支持用户回顾发现并逐步构建个性化数据故事的结论。第五，使用场景：在澳大利亚二手车销售数据集（生成8811个数据事实）中，分析人员沿集合相似性从少过滤器集合逐步推进至多过滤器集合，构建了连贯的数据故事；在人力资源员工流失数据集（生成13566个数据事实）中，分析人员采用基于属性的过滤聚焦于未流失员工，按特定维度定向探索并构建了聚焦的数据故事，得出系统在真实场景中具有可用性与有效性的结论。第六，用户访谈：13名参与者的问卷结果显示整体正面反馈，多数参与者认同生成的事实具有趣味性、将事实组织为集合提升了大数据集探索效率、各视图视觉设计及各交互功能有效支持探索且系统整体可用，同时参与者指出系统初期学习存在一定门槛并提出了引导工具、集成大语言模型、提供探索起点建议等改进方向，得出DFCollection有效支持可扩展、结构化与可解释的数据事实探索的结论。
讨论部分总结了若干经验教训与局限。在计算复杂度方面，定制的事实提取算法复杂度取决于属性数量及其不同取值数量，给定N个属性且每个属性至多M个不同取值时最坏复杂度为O((M+1)
N)，对中等规模数据集高效，但随着M与N增长性能下降，未来计划探索更优优化策略或开发在用户探索过程中动态计算事实与集合的实时方法；为降低视觉拥挤，常需对数据集及提取的事实进行额外预处理，如限制度量属性、应用值分箱与简化高度异构子空间，未来计划开发更自动化的预处理框架。在学习性方面，集合-事实视图集成多个视觉通道以支持从概览到细节的探索，但该设计可能增加初次用户的学习负担，尤其是在同时解读层次细分结构与多种视觉编码时。在引导式探索方面，当前用户独立导航集合与事实以基于探索路径构建数据故事，但分析人员常受时间限制无法详尽检查每个集合，未来将引入对每个集合内关键事实的自动概括以提供简明概览并加速探索，另一方向是自动故事生成以提供推荐叙事。在稀有模式识别方面，探索揭示既有工作常强调高得分事实而忽视稀有但有洞察力的模式，如汽车数据集中价格与里程的负相关反复出现而新颖性有限，相反不常见模式如正相关因稀有而更具价值，未来将把基于统计或其他方法衍生的稀有性度量整合到趣味性评分与视觉设计中以更好地突出不频繁但有意义的模式。研究结论部分翻译如下：研究人员提出了DFCollection，一个用于探索海量数据事实的可扩展层次化可视分析系统。通过引入事实集合概念，该系统依据子空间维度组织数据事实，并通过协同的可视界面支持多层级探索。通过两个使用场景与对13名参与者的深入用户访谈所进行的评估表明，DFCollection有效实现了对数据事实的可扩展、结构化与可解释的探索。评估同时展示了系统的优势，并揭示了当前设计的若干局限，这些局限将在未来工作中加以解决。
