编辑推荐：
近年来，可用的数据源数量进一步快速增长。其中，基于物联网（Internet of Things, IoT）的解决方案开始发挥日益重要的作用，构成云-边-物联网（Cloud-Edge-IoT, CEI）连续体的基础。由于IoT设备提供的数据量大且种类繁多，有必要
近年来，可用的数据源数量进一步快速增长。其中，基于物联网（Internet of Things, IoT）的解决方案开始发挥日益重要的作用，构成云-边-物联网（Cloud-Edge-IoT, CEI）连续体的基础。由于IoT设备提供的数据量大且种类繁多，有必要开发高效且灵活的方法，用于在IoT内部及外部进行数据共享、处理和分析。在此背景下，本文提出了一种联邦数据织物（Federated Data Fabric, FDF）架构，其关注数据处理的可管理性与灵活性，支持数据处理组件在云-边-物联网连续体中的分布与联邦化。该架构提供了所有必要组件，包括：（1）数据目录（data catalog）；（2）数据即产品（data-as-a-product）管理；以及（3）数据处理流水线（data processing pipelines）。此外，所提出的架构能够通过提供高效的语义标注（semantic annotation）和语义翻译（semantic translation）能力，无缝地组合异构数据模型，并高效处理大批量批式与流式数据。该架构在欧盟资助项目aerOS中进行了首次实现与实证验证，并正在O-CEI项目中积极开发。
该文针对云-边-物联网（Cloud-Edge-IoT, CEI）连续体中数据规模庞大、格式异构、流式传输与多租户管理等挑战，提出一种混合数据基础设施架构——联邦数据织物（Federated Data Fabric, FDF）。研究背景方面，数据仓库、数据湖、数据湖仓、数据网格（data mesh）和数据织物（data fabric）等经典架构多采用集中式部署，难以满足CEI环境对分布式、可管理、可联邦化数据处理的需求。现有元操作系统（Meta-Operating System, Meta-OS）和边缘编排框架主要关注计算资源与服务调度，数据全生命周期管理仍是辅助能力；数据空间（Data Space）、数据网格和语义数据织物虽然分别解决了主权交换、领域所有权和语义集成问题，但未将联邦化、数据即产品、语义互操作、治理、多租户及流批处理统一在一个面向CEI的架构中。因此，需要一种新的数据基础设施架构。
研究人员设计并实现了FDF。FDF基于数据网格原则，由多个联邦节点组成，节点内包含数据安全管理器/访问控制、数据产品管理器、数据目录和数据产品流水线（Data Product Pipeline）。节点利用Orion-LD NGSI-LD上下文代理（Context Broker）同步元数据，并以aerOS连续体本体描述相关语义。数据产品被定义为数据、元数据与软件的组合，遵循FAIR（Findable, Accessible, Interoperable, Reusable）原则。数据产品流水线分为摄入、处理、存储三个阶段，传输层采用响应式流（Reactive Streams）与Kafka兼容消息代理，支持批式和持久流数据。语义处理包括基于CARML规则的语义标注器和基于IPSM-AF对齐格式与中心本体的语义翻译器。联邦治理层面利用LDAP、Keycloak、OAuth2 JWT、Open Policy Agent（OPA）、API网关和IOTA Tangle账本，实现跨域身份信任、细粒度策略执行、信任评分与审计；通过上下文代理组成分布式状态网络，并由Federator维护上下文源注册，实现元数据同步。该架构在欧盟aerOS项目Pilot 5智能楼宇试点中进行了实证验证，共定义11个数据产品。
关键技术方法如下：①基于数据网格构建分布式联邦节点，节点以Orion-LD NGSI-LD上下文代理同步aerOS连续体本体元数据；②采用响应式流与Kafka兼容消息代理的传输层，支持批式/流式数据；③数据产品流水线按摄入、处理、存储三阶段对容器化数据组件独立编排；④语义标注基于CARML规则，语义翻译基于IPSM-AF对齐与中心本体；⑤安全治理采用LDAP、Keycloak、JWT、OPA、KrakenD/APISIX，并以IOTA Tangle账本提供信任与审计；⑥实证数据来源于欧盟aerOS项目Pilot 5智能楼宇部署。
### 2. Federated Data Fabric（联邦数据织物）
通过FDF节点内的数据安全管理器/访问控制、数据产品管理器、数据目录与数据产品流水线组件，以及Orion-LD上下文代理的元数据同步，实现了分布式、可管理的联邦数据视图。数据产品按FAIR原则定义，支持发现、访问、互操作与复用。该设计证明FDF能够将异构数据源以联邦方式组织为统一可管的数据产品集合。
### 3. Data Product Pipeline（数据产品流水线）
设计并实现了由传输层与数据组件组成的数据产品流水线。传输层采用响应式流范式，支持批式与持久流数据；摄入阶段连接异构数据源并补充隐式元数据；处理阶段可进行格式、内容与元数据转换；存储阶段为共享可选组件，支持多源数据融合与查询。该流水线以模块化、可编排方式解决了CEI环境中的数据流处理与异构数据接入问题。
### 4. Semantic Data Processing（语义数据处理）
通过语义标注器和语义翻译器实现语义级互操作。语义标注器基于CARML规则，可对JSON、XML、CSV以及Kafka/MQTT流进行RDF标注；语义翻译器基于IPSM-AF对齐和中心本体进行流式语义转换。性能实验采用40,000条随机消息、双核四逻辑核机器，结果显示翻译通道并行度达到4时可获得最大性能增益。结论是语义工具能够有效提升异构数据的语义互操作能力，并在资源受限环境中保持较高性能。
### 5. Federation and Governance（联邦化与治理）
通过LDAP目录、Keycloak认证、OAuth2 JWT签名令牌和OPA策略检查，实现跨域身份认证与访问控制；数据所有者以Rego规则表达细粒度策略，在API网关层执行。IOTA Tangle账本记录信任分值，支持审计。通过Orion-LD上下文代理组成分布式状态网络，利用上下文源注册和NGSI-LD订阅/通知机制同步元数据；Federator负责节点入网准入与注册维护。该机制支持多域联邦的信任建立、策略传播、故障降级运行与恢复。
### 6. Illustrative Example（说明性示例）
以能源生产与管理为示例，从家庭、社区和城市三个层面说明FDF可配置独立数据产品，实现细粒度访问控制、按需语义标注/翻译和多级数据共享。该示例表明FDF的分布式特性和组件独立性适用于复杂CEI场景，并能在保障隐私的前提下实现多参与方数据协作。
### 7. Empirical Validation（实证验证）
在欧盟aerOS项目Pilot 5智能楼宇中，FDF集成物联网系统、预测系统、推荐器和图形用户界面，通过MQTT主题交互，调节HVAC、空气净化器等执行器。共定义11个数据产品，并依据关键性能指标（key performance indicators, KPI）对边缘处理性能、服务可用性和可扩展性等进行验证。结论是FDF在真实场景中具备可行性，并已纳入欧盟创新雷达（EU Innovation Radar）。
讨论总结：实例表明，随着能源管理场景复杂性增加，对数据产品进行细粒度访问控制、组件独立编排和跨域联邦的能力成为必需；能源管理仅是CEI连续体中广泛应用的使能者。FDF通过高可管理性和可编排性，支持从远边缘到云的数据处理。研究结论部分可译为：基于物联网的系统规模和复杂度不断增长，需要在多个层面进行持续、实时的数据传输和互操作。该文提出联邦数据织物（FDF），一种以数据织物和数据网格原则为基础的混合数据基础设施架构。FDF通过为持久流和语义处理提供稳健支持，满足大型分布式物联网生态系统的需求，促进数据与元数据的语义和语法互操作。FDF强调部署数据处理制品（即数据产品）的灵活性和可管理性。每个数据产品由其所有者自主管理，并分成可独立编排的阶段，从而支持数据处理在CEI连续体
