《Frontiers in Public Health》：Scientific and technological mapping of big data architectures in healthcare
编辑推荐：
摘要
背景：医疗保健数据的增长既带来了挑战也带来了机遇。大数据（Big Data）一词指的是使用先进技术和可扩展基础设施处理大量数据。分布式处理和并行计算加速了数据处理，并需要有健壮的架构。大数据架构需要分布式系统、安全性、数据存储、处理、分析和可视化。关键的
摘要
背景：医疗保健数据的增长既带来了挑战也带来了机遇。大数据（Big Data）一词指的是使用先进技术和可扩展基础设施处理大量数据。分布式处理和并行计算加速了数据处理，并需要有健壮的架构。大数据架构需要分布式系统、安全性、数据存储、处理、分析和可视化。关键的是，在公共卫生（Public Health）背景下，此类架构还必须包含严格的数据完整性和流行病学验证，以防止快速处理有偏倚的数据。
目的：本研究旨在识别和描述构建通用医疗保健大数据（Big Data）架构所使用的方法、概念和软件工具，探索如何将这些通用框架调整为满足特定的未满足需求，如医疗审计环境，重点关注性能、可扩展性和结构数据有效性。
方法：研究人员进行了一项系统映射（Systematic Mapping），以识别文献中的主要研究并收集证据，以指导未来的研究和技术调整。
结果：共分析了234篇文章，其中Scopus和ACM数字图书馆（ACM Digital Library）是最相关的数据库。在应用纳入和排除标准并进行质量评估后，共选出22篇文章。最常涉及的层是数据存储、处理、摄取、分析和可视化。然而，发现了一个关于自动统计一致性层的显著空白，凸显了对验证层进行事后理论提出的需求。各种软件工具被按架构功能分类和分组。此外，还对相似软件工具进行了比较，并讨论了创建大数据（Big Data）架构的基本概念。
结论：该研究呈现了一个创建医疗保健大数据（Big Data）架构的相关信息的全面目录。研究强调，虽然基础构建块是可用的，但必须对它们进行调整，以开发一个专门用于医疗审计的可扩展、高性能且分析严谨的架构，将技术基础设施与方法论验证相结合。
1. 引言
近年来，医疗保健领域数据呈指数级增长，带来了挑战与机遇。大数据（Big Data）指使用先进技术和可扩展基础设施处理大量数据。分布式计算和并行计算加速数据处理，需要健壮的架构，包括分布式系统、安全、存储、处理、分析和可视化。在公共卫生（Public Health）背景下，架构还需包含严格的数据完整性和流行病学验证，以防止处理有偏数据。本文旨在通过系统映射（Systematic Mapping）识别和描述构建通用医疗保健大数据架构的方法、概念和软件工具，并探讨这些框架如何适应特定未满足需求（如医疗审计），重点关注性能、可扩展性和数据有效性。文章结构包括映射规划、执行、结果呈现、有效性威胁和结论。
2. 系统映射计划
2.1 目标
该映射旨在识别和描述可用于构建通用大数据架构的方法、概念和软件，以便适应和复制用于医疗审计，强调性能、可扩展性和流行病学数据完整性。
2.2 研究问题
基于PICO（Population, Intervention, Comparison, Outcome）模型提出6个研究问题：Q1：医疗保健大数据架构的组成层有哪些？Q2：最常用软件工具有哪些？Q3：哪种架构在性能和可扩展性之间关系最佳？Q4：文章发表最多的年份？Q5：最流行的发表场所？Q6：哪个国家发表最多？
2.3 搜索与选择策略
选择Scopus、IEEE Xplore、ACM数字图书馆（ACM Digital Library）、Web of Science四个数据库。搜索字符串包含“architecture”、“big data”、“health”以及“data lake”、“data mesh”、“data warehouse”、“data mart”、“performance”、“scalability”。该策略偏重计算机科学术语，可能遗漏流行病学验证相关研究。
2.4 来源选择标准
制定纳入标准（如涉及大数据架构概念、展示工具、提出架构等）和排除标准（如不可用、无工具、重复、不完整、超10年、书籍、系统综述、调查）。
2.5 评估文章质量策略
基于6个问题（如是否比较工具、包含开源工具、提供重要信息、包括架构方案、涉及医疗健康、涉及审计）评分，是（1分）、部分（0.5分）、否（0分），≥3分接受。
2.6 信息提取策略
设计表格提取与7个研究问题相关的信息，包括架构层、软件、工具比较、基本方面、出版年份、审计相关性、国家。
3. 构建系统映射图
初始搜索获得234篇文章，来源分布：ACM数字图书馆（ACM Digital Library）54.3%，Scopus 38.9%，IEEE Xplore 5.6%，Web of Science 1.3%。去重后226篇。第一阶段筛选后52篇。第二阶段质量评估后22篇（评分≥3）。最终入选22篇。
4. 数据综合与结果呈现
4.1 医疗保健大数据架构的组成层有哪些？
分析显示共识架构层包括数据存储（21.15%）、数据加工（15.38%）、数据摄取（13.46%）、服务（13.46%）、分析（11.54%）、可视化（9.62%）等。重大空白在于缺乏专门的统计完整性与流行病学验证层。研究人员事后理论提出验证层，确保在审计环境中数据方法学有效。
4.2 医疗保健大数据架构中最常用的软件有哪些？
软件按层分组：数据摄取与消息传递：Apache Kafka等；数据存储与数据库：Hadoop分布式文件系统（HDFS）、Amazon S3等；数据处理与分析：Apache Spark等；查询搜索与服务：Elasticsearch等；基础设施与编排：Docker、Kubernetes等。开源方案占主导。
4.3 研究中进行了哪些工具比较？
多项研究比较工具性能：优化行列（ORC）格式查询优于原始格式；Apache Spark基于内存处理优于Hadoop MapReduce；Apache Pinot延迟比Elasticsearch低2-4倍；Avro+snappy压缩存储效率高；Apache Kafka比Apache Flume更可靠；数据构建工具（dbt）比传统提取-转换-加载（ETL）自动化更好；Lakehouse架构整合数据湖与数据仓库；Apache Parquet在读写速度和压缩上优于CSV、JSON、XML。
4.4 医疗保健大数据架构的基本方面有哪些？
关键概念包括数据治理、实时数据流（消息队列）、安全虚拟专用网络（VPN）、微服务容器化（Docker、Kubernetes）、表格式Delta Lake、并行处理、版本控制、ACID（原子性、一致性、隔离性、持久性）事务、人工智能/机器学习（AI/ML）就绪、无模式灵活性。此外，需要遵守STROBE（加强流行病学观察性研究报告）等临床协议以防止选择偏倚，强调技术规模不能代替方法学严谨。
4.5 文章在哪些年份发表最多？
2019年至2021年之间发表的文章最多。
4.6 最流行的发表方式是什么？
期刊占54.55%，会议论文占40.91%，其他占4.55%。
4.7 哪些国家发表最多？
美国最多，其次是意大利和西班牙。
5. 叙述性综合
5.1 系统映射的概述与关键见解
所选研究显示方法多样且分散，没有统一标准，均未专门针对审计领域。适应性和灵活性重要。安全、治理、实时处理是共性。未来工作可在FiscalizaSUS平台应用最佳实践，整合验证机制。
5.2 医疗保健基础设施大数据架构的新兴趋势与技术创新
5.2.1 人工智能（AI）与机器学习在基础设施前沿
AI创新包括机器学习运营（MLOps）和人工智能运维（AIOps）用于生命周期管理和基础设施优化。自然语言处理（NLP）和生成式AI在分析非结构化数据中有变革作用，但需要严谨护栏防止放大偏见。可解释人工智能（XAI）和负责任人工智能（Responsible AI）确保伦理可信。联邦学习（Federated Learning）在保护隐私下进行分布式训练。
5.2.2 软件与数据管理范式的演变
基础架构从耦合系统转向基于对象存储的解耦模型，如高性能S3兼容方案MinIO。数据湖仓（Data Lakehouse）模式通过开放表格式（Delta Lake、Apache Iceberg、Apache Hudi）整合数据湖和数仓。向量数据库（如Pinecone、Milvus）支持AI嵌入相似搜索。机密计算（Confidential Computing）和同态加密（Homomorphic Encryption）增强隐私。流平台（如Apache Pulsar、Redpanda）促进事件驱动架构。数据网格（Data Mesh）分散数据所有权。边缘计算（Edge Computing）用于物联网（IoT）设备低延迟处理。
6. 有效性威胁
构建效度：搜索策略忽略“数据真实性”和“流行病学标准”，导致“方法盲点”，偏重计算机工程视角。内部效度：选择标准可能引入偏倚，但通过透明一致准则降低。外部效度：数据综合受方法差异和索引行为影响（如Web of Science仅3篇），样本量22可能限制推广，但严格准则合理解释。
7. 结论
本研究系统映射了医疗保健大数据架构，识别22篇相关文章，发现缺乏专门审计架构，但提供了可适应的技术构件。强调工程性能和可扩展性不足，需增加统计完整性和流行病学验证层。提出该验证层作为事后理论提议。未来工作开发巴西医疗审计平台，融合技术可扩展性和科学验证。
