MONA：一种通用的大数据管理方法，用于高效且自动地构建符合FAIR标准的观测平台、开展探索性研究以及进行信息特征分析

《Future Generation Computer Systems》：MONA: A generic big data management methodology for the high-level and automatic building of FAIR observatories, exploratory studies, and information profiling

　　何塞·卡洛斯·莫林-加西亚 | J. 阿曼多·巴伦-卢戈 | 乌戈·G. 雷耶斯-阿纳斯塔西奥 | 伊格纳西奥·卡斯蒂略-巴里奥斯 | 何塞·L. 冈萨雷斯-康佩安 | 梅莱西奥·克雷斯波-桑切斯 | 伊万·洛佩斯-阿雷瓦洛
墨西哥塔毛利帕斯州维多利亚市Cinvestav，邮编87130

摘要
大数据科学是一种流行的技术，它能够帮助领域专家在海量数据集中发现规律。该技术使得数据驱动决策的用户能够对大量信息进行探索性分析，并从中提取有价值的见解。然而，如何让这些系统为数据驱动决策用户提供定制化且多样化的信息产品仍是一项挑战，往往需要大量的人工投入和高级的技术专长。本文介绍了MONA这一大数据管理方法，旨在在领域专家与数据驱动决策用户之间建立透明的桥梁，从而实现无缝的数据探索，并帮助提取有意义的见解。MONA首先为领域专家提供数据画像模型，以便他们从高层面定义大数据处理流程。通过将基于画像的组合模型与分析流程映射相结合，并辅以流程编排框架，该方法能够透明地构建定制化的大数据处理流程，从而整合并协调数据处理、索引和存储等操作，实现统一的数据管理。这种方法使得数据驱动决策领域的专家能够专注于查询和数据可视化需求，从而在高层面上设计出符合FAIR标准的观测站。MONA已被实现为一个数据平台，并通过自动构建信息产品观测站进行了评估，所使用的数据集包括墨西哥18年的污染物排放登记数据与墨西哥经济行业数据，以及墨西哥23年的自杀登记数据。定量和定性评估结果表明，MONA方法非常适合用于构建FAIR标准观测站，能够将领域专家整理和准备的大量异构数据转化为大量可解读的信息产品，为数据驱动决策提供支持。

引言
数据科学和数据驱动决策等方法的出现彻底改变了科学研究的方式，极大地提升了我们对复杂现象的理解[1][2]。在这种背景下，探索性数据分析和数据画像对于从多个领域的复杂数据集中提取知识至关重要，它们能够为我们揭示不同变量之间的相互作用关系[3][4]。这些分析方法旨在揭示数据中的模式、关联和趋势，帮助领域专家更深入地理解背后的现象。这是提出假设、识别风险因素以及生成可行建议的重要起点。

在这些数据驱动分析方法中，典型的分析生命周期包括数据获取、预处理和处理等环节，这些环节通常通过被称为数据管道的复杂大数据系统来实现[5]。这类系统主要部署在云环境中，要求相关人员具备丰富的科学知识以及高水平的数据处理、分析和技术能力，同时还需要运用适当的工具和方法[6][7]。成功实施这些数据科学方法依赖于领域专家与数据驱动决策用户之间的紧密协作，而这种协作则依赖于高效的大数据处理流程[6][7]。

在那些基于特定领域知识的数据驱动决策场景中，尤其是在能源、医疗保健、金融等敏感领域，往往需要将数据集进行转换和调整，使其超出研究人员的专业范畴，以便应对特定领域的挑战。相反，领域专家在准备、管理、处理数据以及分析复杂结果方面常常面临困难，因为他们需要满足数据驱动决策用户对数据管道的多种需求。其中一个根本原因是，数据驱动决策过程通常需要从多个角度查看数据，以便生成信息产品，而这在实践中给双方的合作带来了很大挑战。

在此背景下，进行探索性分析面临着诸多挑战：(i)现代数据集的庞大规模和复杂性要求使用专门的技术和工具才能高效地进行分析[10][11]；(ii)领域专家必须掌握先进的数据处理和可视化方法，才能有效解读大规模且结构复杂的 数据集[12]；(iii)整合格式和质量各异的不同数据源存在很大难度，需要精心处理数据的统一、清洗和标准化工作[13][14]；(iv)最后，由于处理参数的不同组合会产生大量输出结果，因此需要在数据驱动决策过程中为内部任务创建多种数据视图，这进一步增加了分析的复杂性。为了解决这些问题，可以采用一种方法，根据领域专家的需求，从单个或多个数据源中筛选出感兴趣的变量，进而构建动态的数据处理管道。

基于数据的观测站就是这种典型方法的体现，它在推动数据驱动研究方面发挥着重要作用[15][16]。广义上来说，观测站是一种能够以结构化、易于访问的方式收集、整理和呈现数据的平台[17]。这类平台使得人们能够访问复杂且多样的数据集，从而使包括那些没有专业计算或分析技能的人在内的各类用户都能进行探索性分析，并提取有价值的见解[18]。观测站的价值在于它们能够将数据转化为易于理解的知识。通常情况下，由于访问或理解方面的障碍，数据的潜力无法得到充分发挥。观测站通过提供直观的界面和搜索工具来克服这些限制，使用户无需具备高级技术技能就能浏览大量数据集[10]。这种民主化的做法对于做出明智的决策具有重要意义，它能够让科学家、政策制定者、医疗服务提供者以及普通公众更有效地利用数据。在这种模式下，数据驱动决策的用户可以通过交互式图表、地图和其他用户友好的形式来可视化数据，从而进行探索性分析[19]。这些可视化工具即使对于那些不熟悉复杂数据分析技术的人来说，也能帮助他们更容易地识别出数据中的模式、趋势和关联。此外，数据驱动决策的用户还可以轻松地搜索、筛选并生成自定义的可视化结果，从而大大简化数据探索和洞察力生成的流程[20]。

尽管这种方法具有诸多优势，但由于数据生命周期中任务的复杂性，目前的架构往往较为僵化，即由组织提供数据集和工作人员来负责数据的收集、清洗和格式化，领域专家则负责准备数据处理方法和基础数据，而云服务提供商则负责构建数据管道，最终将结果和信息产品提供给数据驱动决策用户[21][22][23][24]。虽然目前有一些基于人工智能代理的解决方案试图通过自动生成响应来弥合领域专家与数据驱动决策用户之间的差距[25][26]，但这种方法并不适合用于组织传递敏感数据，也不适合领域专家外包自己的分析模型，同样也不适合数据驱动决策用户公开自己的查询内容[27][28]。

在这种情况下，就需要一些能够动态构建观测站的解决方案，这类解决方案能够有效地连接领域专家与数据驱动决策用户，根据后者所需的数据视图变化灵活调整数据管道，同时允许在本地或云端部署数据管道。不过，开发这类解决方案需要大量的技术专长、基础设施和资源[29]，这就限制了它们在动态数据环境中的适用性[30][31][32][33]。

本文介绍了MONA这一通用的大数据管理方法，它能够集成并协调数据视图的创建、数据处理、索引、存储、查询和可视化等操作，实现统一的数据管理。这一六阶段的方法论（见图1）在第一阶段为领域专家提供了数据画像模型，帮助他们为后续的数据处理流程创建结构化的数据管理方案。该模型还允许领域专家为数据集添加额外的数据（如比率、百分比、速率、统计指标等），这些数据将为数据驱动决策用户提供支持，用于创建信息产品（见图1的第一阶段和第二阶段）。此外，该模型还能够通过组合标准化方案中的不同类别，自动为数据集生成画像，数据驱动决策用户只需选择感兴趣的画像，即可生成多种数据视图（见图1的第二阶段和第三阶段）。这样一来，就在领域专家与数据驱动决策用户之间的 curated数据和分析方法之间建立了桥梁，而且不会形成彼此间的依赖关系，双方都可以使用不同的数据集来创建信息产品。

为了使数据管道能够适应数据驱动决策用户的需求以及领域专家所定义的多种数据视图，MONA提供了一种基于已画像的curated数据集的数据管道组合模型——这些数据集由数据驱动决策用户定义，而分析方法则由领域专家提出（见图1的第一阶段、第二阶段、第三阶段和第四阶段）。在第四阶段，系统会根据数据驱动决策用户的请求实时创建数据管道。在第五阶段，编排模型会根据这些组合后的数据管道生成观测站定义，进而触发相应的机制，将各种画像转换为多种信息产品，最终交付给数据驱动决策用户（见图1的第六阶段）。

MONA所采用的通用且可灵活调整的模型使其能够在多个领域得到应用，为知识提取和基于证据的决策制定提供了一个标准化且可重复的框架。MONA方法的贡献包括：
• 数据画像模型：该模型在领域专家的协助下，为curated数据集创建结构化的扩展方案。该模型的输出是一组基于树的画像方案，这些方案具有通用性、标准化特点，可被MONA方法中的其他流程所使用。
• 基于生成画像模型的数据管道组合模型：该模型能够自动组织、准备并连接各种数据管道，从而根据数据驱动决策用户感兴趣的画像需求创建信息产品。
• 基于管道组合映射的数据与任务编排模型：该模型根据数据管道的配置，定义并创建数据驱动决策观测站，从而自动生成信息产品，并通过检索引擎将这些产品提供给用户。

MONA已被应用于实际场景中，用于自动构建两个真实世界的数据驱动决策观测站：第一个观测站基于墨西哥18年的污染物排放与转移登记数据，以及墨西哥经济行业数据；第二个观测站则基于墨西哥23年的自杀登记数据。评估结果表明，MONA方法非常适合用于构建符合FAIR标准的数据驱动决策观测站，与静态观测站相比，它在将大量原始数据转化为结构化、可解读的数据方面具有明显的定量和定性优势。

相关研究
在当前这个数据驱动研究和决策的时代，基于数据的观测站发挥着至关重要的作用。这类观测站为存储、整理和分析来自各种来源的海量数据提供了一个集中且易于访问的平台。它们的目标是简化数据访问和理解过程，帮助研究人员、领域专家和政策制定者从中获得有价值的见解，从而为研究、决策和政策制定提供支持[34]。

MONA：一种构建数据观测站的方法论
本节介绍了用于构建数据观测站的方法论。MONA方法论中所包含的各个模型将在下文中分别介绍，即画像模型、消费模型和编排模型，这三者共同构成了该方法论的结构、分析流程和执行步骤。图2展示了MONA的运行组件，这些组件按照从整体到局部的顺序被划分为不同的阶段、环节和步骤。

评估方法与结果
MONA通过定量和定性研究进行了评估，评估方法如表2所示。

结论、当前工作与未来展望
本文介绍了MONA这一用于构建符合FAIR标准的数据观测站的大数据管理方法。该方法能够自动化地将经过整理和标准化的数据集转化为具有战略意义且符合FAIR标准的观测站。该方法在各个阶段都得到了领域专家的协助，他们负责选择和定义变量（包括兴趣变量、时空变量、观测变量和参考变量），以及选择用于生成信息产品的分析方法。

CRediT作者贡献说明
何塞·卡洛斯·莫林-加西亚：写作——审稿与编辑，概念设计。
J. 阿曼多·巴伦-卢戈：写作——初稿撰写，监督，项目管理，方法论设计，研究实施，概念设计。
乌戈·G. 雷耶斯-阿纳斯塔西奥：验证，软件开发，形式化分析。
伊格纳西奥·卡斯蒂略-巴里奥斯：验证，监督，软件开发，方法论设计，形式化分析。
何塞·L. 冈萨雷斯-康佩安：写作——审稿与编辑，项目管理，研究实施，概念设计。
梅莱西奥·克雷斯波-桑切斯：未引用参考文献[41][42][43]

利益冲突声明
作者声明，他们不存在任何可能影响本文研究成果的已知财务利益或个人关系。

致谢
本研究得到了项目“Unificación de Servicios de Ciencia de Datos para la Construcción de un Cincetrador, Distribuidor y Buscador Nacional de Datos e Información Estratégica”的资助，项目编号为MADTEC-2025-M-478。乌戈·G. 雷耶斯-阿纳斯塔西奥感谢墨西哥科学、人文、技术及创新部（SECIHTI）提供的博士后奖学金，该奖学金用于支持他开展“Desarrollo e implementación de un sistema inteligente de vigilancia para el Observatorio de Riesgos”项目。