ExoPrompt:基于Transformer的温室气候预测模型,结合结构化条件处理和基于物理的模拟方法
《Computers and Electronics in Agriculture》:ExoPrompt: Transformer-based greenhouse climate forecasting with structured conditioning and physics-based simulation
【字体:
大
中
小
】
时间:2026年03月24日
来源:Computers and Electronics in Agriculture 8.9
编辑推荐:
Gürkan Soykan|?nder Babur|Qingzhi Liu|Bedir Tekinerdogan
信息技术组,瓦赫宁根大学与研究中心,Droevendaalsesteeg 4,瓦赫宁根,6708 PB,荷兰
**摘要**
准确的温室气候预测对于优化作
Gürkan Soykan|?nder Babur|Qingzhi Liu|Bedir Tekinerdogan
信息技术组,瓦赫宁根大学与研究中心,Droevendaalsesteeg 4,瓦赫宁根,6708 PB,荷兰
**摘要**
准确的温室气候预测对于优化作物产量、资源利用和气候控制至关重要。传统的基于物理的模拟器具有可解释性,但通常依赖于简化的假设和固定的配置,而数据驱动的模型由于感测数据稀缺和局部化而难以泛化。这些限制阻碍了智能和自适应温室系统的实现。数字孪生(DTs)作为物理系统的虚拟复制品,为克服这些约束并实现实时决策提供了有前景的范式。应对这一挑战对于使DTs能够在多种条件下运行并具有准确的适应性模型至关重要。我们提出了一个基于模拟的框架,通过结构化条件化和合成数据预训练来增强温室气候预测的鲁棒性。我们方法的核心是ExoPrompt,这是一种轻量级的条件化机制,它将环境、结构和作物级别的属性编码为提示表示,从而实现跨不同场景的适应。该模型首先在GreenLight模拟器生成的合成数据上进行预训练,然后在不同光照条件下收集的有限传感器数据上进行微调。我们在多个设置中对合成和真实世界数据集进行了评估。结果表明,基于模拟的预训练提高了预测性能,相对湿度的RRMSE降低了46.31%,二氧化碳预测的准确性提高了84.94%,优于仅使用模拟器的基线。在外生参数上的条件化进一步将RRMSE降低了18.79%。最后,我们设计了一个控制实验,改变单个外生参数,以隔离和验证ExoPrompt在分布变化下的鲁棒性,在真实数据上二氧化碳的RRMSE降低了49.20%。
**1. 引言**
在受控农业系统中,预测温室内的气候条件(如温度、湿度、二氧化碳浓度、太阳辐射和土壤特性)对于优化作物产量、质量和资源利用至关重要。这些环境变量对植物生长动态有直接且复杂的影响,准确的预测使种植者能够做出提高生产力和可持续性的决策(Vanthoor等人,2011年;van Beveren等人,2015年;Shamshiri等人,2018年)。传统的温室气候建模方法依赖于基于物理的模拟方法,通常涉及描述空气、植物和温室结构之间能量和质量交换的高度参数化的微分方程(Ten Cate,1983年;Katzin等人,2022年)。近年来,深度学习(DL)的出现引发了对数据驱动气候预测方法的兴趣(Jha等人,2019年;Al-qudah等人,2025年;Escamilla-García等人,2020年)作为另一种解决方案。虽然基于物理的模型具有可解释性和泛化能力,但它们存在一些缺点:需要精确的参数调整,依赖于假设和简化,并且对噪声和不确定性敏感(Babuska和Oden,2004年)。这些模型中的错误可能导致资源效率和产量预测准确性的显著损失。相反,当在温室传感器数据上训练时,数据驱动的方法表现出有竞争力的性能。然而,它们往往缺乏泛化能力,因为模型是在相同的环境、温室或光照设置下进行训练和评估的(Al-qudah等人,2025年)。与基于模拟的模型相比,大多数研究没有考虑关键输入,如温室属性、作物特性以及其他显著影响气候动态的环境或结构因素。此外,现有的数据集通常不是公开可用的,或者仅限于特定条件(Ouamane等人,2021年;Hemming等人,2020年)。关于智能温室系统的最新研究(Morales-García等人,2023年;Ihoume等人,2023年;Morales-García等人,2024年)进一步强调了这些在不同温室环境中的部署限制。
为了解决这些限制,人们越来越关注将模拟模型与机器学习(ML)相结合(von Rueden等人,2019年;Sun和Shi,2021年;Droutsas等人,2022年)。这些方法旨在利用两种范式的优势,例如通过用模拟样本增强真实世界数据,或以原则性方式结合神经网络和基于物理的模拟的输出(von Rueden等人,2020年)。除了预测性能之外,混合学习的另一个重要动机是它能够实现预测性数字孪生(DTs),即物理系统的虚拟对应物,保持持续同步并支持监控、控制、优化和适应(Wagg等人,2020年)。这一概念也被应用于智能农业和温室(Verdouw等人,2021年;Ariesen-Verschuur等人,2022年;Ryan等人,2023年)。这种混合方法为构建DTs提供了实用的基础,使得在变化的环境、结构和操作条件下仍能保持准确的预测模型成为可能。
在本文中,我们提出了一个基于模拟的温室微气候预测框架,该框架结合了合成数据和真实世界数据,使用基于Transformer的时间序列模型(Vaswani等人,2017年)(参见附录A,了解与其他架构的比较评估)。我们方法的核心是一种新颖的条件化机制——外生软提示(ExoPrompt),该机制受到自然语言处理中提示调优(Lester等人,2021年)及相关方法(如前缀调优(Li和Liang,2021年;Liu等人,2022年;Liu等人,2021年;LLaMA-Adapter(Zhang等人,2023年))的启发。这里,外生变量指的是在温室配置中变化但在每个时间序列实例中保持不变的场景级属性,与随时间变化的内生变量(例如温度、湿度)相对。ExoPrompt通过将温室结构、环境条件和作物特性等上下文信息作为可学习的条件信号纳入模型,使模型能够适应不同的温室场景。该模型首先在合成模拟数据上进行预训练,然后在有限的真实世界感测数据上进行微调。通过明确地基于场景级外生上下文进行条件化,我们的框架旨在提高在不同温室环境、光照条件和作物配置下的适应性。我们在光照条件下展示了这种能力;更广泛的跨温室验证是未来的工作,解决了现有温室气候预测模型的一个关键限制。这种增强的适应性使我们的框架成为集成到DT系统中的有希望的候选者,如图1概念性所示。
我们进行了一系列实验来评估我们框架的性能。首先,我们比较了不同的条件化策略,观察到无论是基于我们的ExoPrompt方法还是简单的替代方法(如直接连接),在各种设置中始终与基线相匹配或表现更好。这表明,即使通过简单的机制,结合场景级上下文也是有益的,尽管没有一种方法在所有指标上都占主导地位。其次,我们评估了合成数据规模的影响,证明使用超过200,000个样本的预训练通常会导致性能提升,但超过这个数量后收益会逐渐减少。第三,我们通过跨条件实验评估了模型在分布变化下的鲁棒性,其中训练和评估在不同的光照设置下进行(HPS vs. LED)。虽然在这种设置下ExoPrompt和基线模型的性能相当,但在我们控制的基于模拟的实验中,当仅改变一个外生变量时,转移能力得到了更强的证据。这些结果表明,当预训练期间充分覆盖输入空间时,条件化的有效性会增加,使模型在测试时能够更好地利用特定于场景的上下文。
**下载:** 下载高分辨率图像(199KB)
**下载:** 下载全尺寸图像
**图1.** 支持ExoPrompt的温室DT系统的目标架构。物理温室包含与DT组件交互的传感器和执行器。DT包括气候预测和控制模块,这些模块处理感测数据以生成预测并指导控制决策。双向数据流实现了物理系统和虚拟系统之间的持续同步,支持实时监控和预测控制。绿色括号表示本工作的范围(气候预测);灰色虚线组件(气候控制模块)及其集成代表了计划中的未来工作。
**我们的主要贡献和发现如下:**
• 我们提出了一种新颖的条件化机制ExoPrompt,用于温室环境中的微气候预测,该机制利用来自外生变量(如结构、环境和作物级别参数)的可学习提示来对模型预测进行上下文化。
• 我们使用模拟和真实世界数据集评估了我们框架在不同光照条件和训练制度下的鲁棒性和适应性。通过改变单个外生参数的控制实验进一步验证了学习表示的鲁棒性和可转移性。
• 我们表明,基于模拟的预训练将下游性能提高了46.31%,优于未预训练的模型;与仅使用模拟器的基线相比,二氧化碳预测的准确性提高了84.94%。外生条件化进一步将相对均方根误差(RRMSE)降低了18.79%。在改变单个外生参数的控制设置中,我们的方法使二氧化碳的RRMSE降低了49.20%,突显了其鲁棒性。
我们向公众发布了我们的代码和使用的数据集,以促进可复制性并鼓励在这一领域的进一步研究。它们在GitHub上公开可用。
**本文的其余部分组织如下:**
第2节描述了我们提出的框架和ExoPrompt条件化机制。第3节展示了关于泛化、鲁棒性和基于模拟的预训练影响的实验结果。第4节提供了使用ML方法进行温室微气候预测的全面领域分析。第5节将我们的工作置于更广泛的背景和相关工作背景下。第6节讨论了限制。最后,第7节总结了我们的贡献和发现,并概述了未来工作的方向。
**2. 方法论**
**2.1. 提出的流程**
我们的方法利用模拟数据和真实数据来增强温室环境时间序列预测模型的鲁棒性和泛化能力。目标是通过根据关键外生参数(如环境、结构和操作特性)对其进行条件化,创建一个能够在不同场景中泛化的预测模型。我们提出的流程概述见图2。
**2.1.1. 问题表述和提出的解决方案**
我们的时间序列模型旨在预测一组状态(x),在时间序列领域中称为内生变量,例如温室内的二氧化碳水平和温度,基于受控(u)和不受控输入(d)(参见第2.2.1节中的模拟器模型概述)。然而,我们目前只有特定位置和作物类型的真实数据,这限制了模型的泛化能力。此外,在温室环境中收集大量真实世界数据通常耗时、昂贵且物流上具有挑战性,这进一步激发了使用基于模拟的预训练的动机。
为了解决这一限制,我们提出了一种三阶段方法,涉及模拟生成的数据和真实数据:
**下载:** 下载高分辨率图像(346KB)
**下载:** 下载全尺寸图像
**图2.** 提出的流程概述,该流程将基于模拟的预训练与真实世界微调相结合。流程包括三个主要阶段:合成数据生成、预训练和微调。蓝色虚线箭头表示各阶段之间外生参数和数据的流动。
**1. 合成数据生成:** 我们使用GreenLight模拟器(但也可以是任何其他温室模拟器模型)为各种位置和作物类型生成合成数据。
**2. 预训练阶段:** 在此阶段,我们根据外生参数(y)对模型进行条件化,以捕捉模拟中存在的各种环境和结构设置。目标是学习一个能够适应不同温室环境的基于模拟的、具有条件意识的预测模型。为此,我们共同学习:θf:主要预测模型(例如Transformer)的参数;θp:提示编码器(例如多层感知器(MLP)的参数,用于投影外生变量)。正式地,预训练的目标是在预测范围内最大化目标时间序列x的条件概率:
(1) p(x|y,θf,θp) = ∏t=0T?1 p(x(t+1:t+h) | x(t?p:t), PE(y;θp), θf)
在这里,参数θf, θp在使用合成模拟数据训练期间进行优化。
**3. 微调阶段:** 预训练之后,我们使用特定位置和作物类型的真实数据(即Katzin等人(2020年)中用于评估的真实数据集)对模型进行微调。由于模型已经使用多样化的模拟场景进行了预训练,并且基于外生变量进行了条件化,因此预计它能够更有效地泛化到新的真实世界条件。微调目标基于预训练的模型,根据训练配置更新θf和θp中的一个或两个。我们将这些更新后的参数表示为θf′和θp′:
(2) p(x|y,θf′,θp′) = ∏t=0T?1 p(x(t+1:t+h) | x(t?p:t), PE(y;θp′), θf′)
这种公式允许我们探索各种适应策略,例如:同时微调θf和θp,冻结预测模型并仅微调提示编码器(θp),或反之亦然。这种设置确保了预训练模型在数据可用性和领域变化的情况下适应下游真实世界任务的灵活性。
模型架构和训练设置在预训练和微调阶段是一致的。详细的实现设置和超参数在附录F中提供。为了更好地理解数据生成过程,我们首先概述了GreenLight模拟器的结构,该结构决定了环境变量、控制变量和结构变量之间的相互作用。然后,我们描述了基于此模拟器的合成数据生成过程,接着介绍了用于评估和微调的真实数据细节。
2.2.1 模拟器模型概述
GreenLight模拟器(Katzin等人,2020年)提供了一个具有以下属性的结构化框架:
- x:系统的状态(例如,温度、二氧化碳水平)。
- p:参数(常数),其中一些特定于位置或作物类型。
- d:影响系统的不可控输入,如外部天气条件。
- a:辅助状态,用于辅助模型的内部计算。
- u:可控输入,即可以在系统中调整的变量,例如温室中的加热或通风。
2.2.2 合成数据生成
为了生成用于预训练的合成数据,我们使用了GreenLight模拟器(Katzin等人,2020年),这是本研究中的核心模拟模型。虽然使用GreenLight生成的模拟输出(如Katzin等人(2021年)的研究结果)是公开可用的,但它们是用模拟器的早期版本生成的。为了确保一致性和与最新模型版本的对齐,我们使用GreenLight的最新版本重新生成了合成数据。然而,生成合成数据的一般方法和参数设置与之前的工作保持一致。为了捕捉每个时间步的详细信息,我们修改了GreenLight模拟器,使其能够存储所有模拟运行中的模型参数和输出,从而实现了我们模型中的条件机制和ExoPrompts的构建。
场景设计
我们的数据集包括九个不同的温室场景,每个场景都旨在模拟不同的环境和操作条件。表1总结了这些场景以及每个场景的模拟运行次数;描述中的括号内标出了修改的参数。除了表1中显示的特定于场景的参数外,还根据照明类型(HPS vs. LED)和地理位置有所不同的外生参数。
在这些场景中,heatAdjustment和referenceSetting的运行次数最多(各30次),因为它们在15个不同的地理位置下分别进行了HPS和LED照明条件的模拟。这些地点涵盖了多样化的气候区域,并在表2中按国家分组。
表1. 用于预训练的合成数据场景。修改的参数用括号标出。
| 场景 | 运行次数 | 描述 |
|------------|--------|-----------------------------------------|
| Reference Setting | 30 | 默认的Venlo配置 |
| Heat Adjustment | 30 | 灯具下的温度校正(heatCorrection) |
| Colder | 6 | 更低的温度设定点(tSpNight, tSpDay) |
| Warmer | 6 | 更高的温度设定点(tSpNight, tSpDay) |
| High Insulation | 6 | 减少泄漏,更厚的屋顶(cLeakage, hRf) |
| Low Insulation | 6 | 增加泄漏,更薄的屋顶(cLeakage, hRf) |
| More Light Hours | 6 | 延长照明时间(lampsOffSun) |
| PPFD 100 | 6 | 低光照强度(thetaLampMax) |
| PPFD 400 | 6 | 高光照强度(thetaLampMax) |
| 总计 | 102 | |
参考温室配置遵循Katzin等人(2021年)中概述的规格。它被建模为一个4公顷的Venlo型温室,高度为6.5米,配备有通风窗、二氧化碳注入系统以及为番茄种植安排的人工照明,番茄是所有模拟和真实条件中使用的作物。详细的规格,包括照明配置、加热机制和环境控制参数,可以在Katzin等人(2021年)中找到。heatAdjustment场景与referenceSetting的不同之处在于修改了heatCorrection参数。此外,其余场景通过改变关键环境参数(如照明时间和强度(More Light Hours, PPFD 100/400)、气候条件(Colder/Warmer Climate)和绝缘水平(Low/High Insulation)来创建不同的训练条件。
表2. 用于合成数据生成的地理位置。
| 国家 | 城市 |
|------------|------------|
| 加拿大 | 卡尔加里、温莎 |
| 中国 | 北京、上海、成都、乌鲁木齐 |
| 意大利 | 威尼斯 |
| 荷兰 | 阿姆斯特丹 |
| 日本 | 东京 |
| 俄罗斯 | 阿尔汉格尔斯克、莫斯科、圣彼得堡、萨马拉 |
| 瑞典 | 基律纳 |
| 美国 | 安克雷奇 |
最终数据集组成
总的来说,我们的合成数据集包含了来自多个地点和环境条件的模拟运行,确保了训练数据的多样性。大多数场景在三个核心地点(cal、ams和che)下使用两种照明条件(HPS和LED)进行了模拟,而heatAdjustment和referenceSetting使用了所有15个地点。有关控制设置和更多模拟细节,请参阅Katzin等人(2021年)。
下载:下载高分辨率图片(659KB)
下载:下载全尺寸图片
图3. 在荷兰Bleiswijk进行的试验中,不同照明系统下的温室作物种植(Dueck等人,2010年)。左图显示了高压钠(HPS)照明设置,右图显示了发光二极管(LED)照明设置。照片由瓦赫宁根研究、温室园艺与花球提供。
2.2.3 真实数据描述
GreenLight数据集中的真实数据最初是在2009年10月至2010年6月期间在荷兰Bleiswijk进行的温室试验中收集的,如Katzin等人(2020年)所报告的。该试验专注于在两种不同的人工照明设置下(全LED顶灯(称为“LED数据集”)和全高压钠(HPS)顶灯(称为“HPS数据集”)下种植的Cocktail番茄(Sunstream品种)的生长情况。图3显示了试验期间两种照明设置下的温室照片。数据集包括2009年10月19日15:15至2010年2月8日15:15期间的室外天气、室内气候和温室气候控制措施的测量结果。记录的关键变量包括室内温度、相对湿度(RH)、二氧化碳浓度、照明条件和通风口设置,提供了所采用的环境条件和控制策略的全面概述。这个数据集作为评估基于模拟和机器学习模型的准确性和泛化性能的参考真实数据。
2.3 条件化细节
受到prompt调优方法(Lester等人,2021年)的启发,我们提出了一种基于外生变量对模型进行条件化的机制,特别是针对我们的时间序列设置,这与现有的温室气候预测方法不同(如第4节所讨论的)。我们区分了内生(主要)和外生(次要)变量,并引入了可学习的prompt来根据后者对模型进行条件化。在一般的时间序列预测文献中,内生变量是指模型旨在预测的目标变量,而外生变量是影响预测但本身不被预测的变量(Wang等人,2024b)。然而,我们采用了稍微调整的解释:我们将外生变量定义为描述系统结构、环境或作物级别的特征,例如温室类型、绝缘水平或作物品种,这些特征在不同场景中变化,但在每个实例中随时间保持不变。相反,内生变量包括动态的系统级观测值,如温度、二氧化碳浓度和RH,以及环境驱动因素,如风速或太阳辐射。尽管其中一些(例如风速)传统上可能被标记为外生变量,但在我们的架构中,它们被视为时间输入序列的一部分,因此作为内生输入进行操作处理。为了对外生上下文进行条件化,外生变量通过MLP进行处理,以增强它们的表示并使其对模型更有信息量。然后,这些处理后的变量与输入序列连接起来,有效地增加了输入序列的长度。在iTransformers(Liu等人,2023年)等反向变换器模型的情况下,这种连接可以被视为向输入中添加另一个变量,将外生变量无缝集成到模型结构中。这使得模型能够根据这些外生变量生成目标序列。由于这种区分和我们的ExoPrompt机制,我们纳入了254个外生参数(详见附录D的分类总结),而不会引入显著的架构复杂性。这使得我们能够在保持模型轻量级的同时有效地利用场景间的上下文变化。所提出的条件化机制如图4所示。
与典型的prompt调优方法不同,后者在训练期间随机初始化并学习软prompt,我们的方法直接使用已知的外生变量。因此,随机初始化prompt是不必要的。相反,我们使用MLP将这些变量转换为更适合条件化模型的有意义的表示。
下载:下载高分辨率图片(159KB)
下载:下载全尺寸图片
图4. 提出的用于条件时间序列预测的外生软prompt(ExoPrompt)机制。外生变量通过MLP处理后与输入序列连接起来,从而在预训练和微调期间有效地对模型进行条件化。
我们选择这种方法是因为以下优势:
- 与深度学习原则一致:通过明确编码结构和环境参数,模型可以反映并适应温室系统的物理变化,这符合潜在深度学习集成的要求。
- 对领域变化的韧性:基于可解释的高级外生变量进行条件化旨在防止过拟合训练数据并提高泛化能力,正如我们在受控合成实验中所展示的(第2.4节)。
- 轻量级设计和易于实现:设计相对简单,只需要通过一个简单的两层MLP投影器处理外生变量,并将其与输入序列连接起来。它引入了最小的设计考虑,例如确定prompt长度和投影器的隐藏层大小,导致参数开销可以忽略不计(详见附录B,与替代条件化策略的比较)。
虽然prompt调优通常用于大规模预训练的语言模型,但我们将其适应到我们的设置中,从预训练模型开始,关注外生变量的表示方式。这使得模型能够有效地学习并利用这些变量进行条件时间序列预测。
在所有设置中,预训练阶段,模型的每个组成部分,包括主变换器和软prompt(如果使用的话),都是从头开始训练的。在微调期间,预测模型和软prompt投影器(MLP)一起更新。这种配置为预训练提供了自然的延续,使两个组件能够共同适应下游任务。然而,也可以探索其他策略,例如冻结主模型并仅微调软prompt,或者相反。
总之,我们的方法利用模拟器生成的数据进行预训练,然后在真实世界感测数据上进行微调。通过对模型进行各种外生参数的条件化,例如位置、温室结构和作物特定特征,我们旨在实现跨不同设置的泛化;我们的受控合成实验在模拟器的参数空间内验证了这一能力。这种基于模拟和条件意识的设计旨在提高模型在真实世界温室环境中的适应性和鲁棒性,尽管跨温室的验证仍然是未来的工作。
为了系统地评估外生条件化的影响,我们定义了一个名为ExoLess(Vanilla)的基线模型变体。该模型不使用任何条件化机制,仅使用标准Transformer架构(Vaswani等人,2017年)训练原始时间序列数据。它作为没有外生条件化的基线。与我们的方法相比,它的参数略少,因为它缺乏用于将外生变量转换为条件化表示的prompt编码器(投影器)。
2.4 受控泛化实验设计
我们设计了一个受控实验,在该实验中,除了一个参数外,所有参数都保持不变。这种设置允许我们在单个外生参数的受控变化下系统地评估模型的分布内泛化能力。虽然原始合成数据集涵盖了102个不同的场景,但它不足以覆盖全部254个外生参数。因此,我们专注于GreenLight模拟器中的一个参数cLeakage。该参数控制泄漏通风,即独立于屋顶开口发生的通风(Katzin等人,2020年)。在合成数据生成过程中使用的参数中(见第2.2.2节),cLeakage因其对温室微气候的强烈影响以及在预定义的“高绝缘”和“低绝缘”场景中的作用而脱颖而出。
其余的数据生成流程遵循第2.2.2节,温室位置固定在荷兰阿姆斯特丹,照明配置设置为LED。我们通过将cLeakage在线性变化范围内从1e?5变化到5e?4来生成20个训练场景,另外还有2个测试场景分别代表低绝缘和高绝缘,分别为2e?4和5e?5。在20个训练场景中,18个用于训练,2个用于验证;测试集包括2个保留的绝缘情况(低和高)。
由于外生参数的数量从254减少到1,我们对模型架构进行了以下更改:我们将虚拟令牌的数量从10减少到2,以避免过参数化。使用10个令牌和dmodel=512,总的条件化维度将是5120,这对于单个变量输入来说过于庞大。将令牌数量减少到2个可以保持良好的信噪比,并支持有效的学习。我们还减小了基础模型的规模(例如,将模型维度设置为256,前馈层的维度设置为1024,而不是512和2048),以减轻由于训练数据有限而导致的过拟合问题,并能够更公平地评估ExoPrompt机制。这种降维有助于模型更好地利用来自cLeakage的条件信号,避免容量饱和。为了确保我们发现的稳健性,我们使用不同的随机种子重复每个实验10次,而不是3次,为我们的结果和主张提供更坚实的基础。其余的超参数和训练协议与附录F.2.5中描述的相同。
在本节中,我们分享了用于评估模型在不同训练阶段性能的评估程序的详细信息。我们首先描述了评估场景,包括传统和受控设置,然后是用于模型比较的指标。最后,我们概述了我们的不确定性估计和统计报告方法,以确保结果的稳健性和可重复性。
2.5.1 评估场景
我们在两个主要阶段评估我们的模型:在合成数据上进行预训练,以及在包含所有外生参数的真实世界真实数据上进行微调,这与第2.4节中描述的受控实验相补充。预训练阶段的评估如下进行:由于合成模拟数据包含多种条件和多次模拟运行,我们采用传统的训练-验证-测试划分。具体来说,数据集被随机打乱并分为70%用于训练,10%用于验证,20%用于测试。因此,验证集和测试集可能包含在训练期间观察到的相同场景类型的样本。
对于在真实世界数据上的微调阶段,我们考虑了两种评估设置:
(i) 混合评估:通过混合来自不同光照条件的数据,使用训练集、验证集和测试集来评估模型。这种设置被称为“混合”方法。
(ii) 跨数据集泛化:GT数据包括在不同光照条件(HPS和LED)下收集的两个数据集(Katzin等人,2020年)。为了评估模型在不同条件下的泛化能力,我们进行跨数据集评估,即在其中一个数据集上训练模型,在另一个数据集上进行测试。
2.5.2 评估指标
在训练和验证过程中,我们监控第2.6节定义的平均平方误差(MSE)来评估模型的性能。对于最终评估,我们报告测试集上的以下指标:均方根误差(RMSE)、RRMSE和平均误差(ME),这与Katzin等人(2020年)的评估协议一致。这允许与模拟器报告的结果直接比较。
应当注意的是,我们模型的输出包括室内温度、蒸汽压和CO2浓度。然而,由于相对湿度(RH)是评估中使用的关键指标之一,我们根据蒸汽压与饱和蒸汽压的比率来计算RH,其中后者使用广泛采用的Tetens公式(Tetens,1930年)进行估算。
2.5.3 报告和不确定性估计
对于每个实验,我们使用不同的随机种子进行了3次独立运行。这种设置使我们能够评估模型在不同初始化下的稳健性和稳定性。报告的结果代表了这3次运行的平均值。为了量化不确定性,我们报告95%的置信区间。表格中使用的‘±’符号表示的误差范围是根据t分布使用以下公式计算的:误差范围=tα/2,df×sn,其中:
• tα/2,df是t分布中95%置信水平的临界值,α=0.05,自由度df=n?1。
• s是样本标准差。
• n是运行次数。
2.6 损失函数
我们框架中使用的主要损失函数基于目标时间序列的预测值和实际值之间的MSE。虽然MSE是回归任务的标准选择,但它假设所有目标变量对损失的贡献是相等的。然而,在我们的案例中,由于输出变量(包括室内空气温度、蒸汽压和CO2浓度)的动态范围不同,这个假设并不成立。所有输出在预处理过程中都被缩放到[0,1]范围内。然而,直接在缩放值上应用MSE而不考虑原始范围可能会引入偏差。例如,相同的绝对误差对于蒸汽压(范围:0到7300)和温度(范围:-20到40)可能代表不同的实际大小。这种不匹配可能导致在训练过程中某些变量被过度或低估。
为了缓解这个问题,我们引入了一个修改后的损失函数,在计算损失之前将模型输出和真实目标值重新缩放到它们的原始值范围。此外,我们根据每个变量范围的倒数应用归一化权重,以给予动态范围较小的特征更大的影响。损失计算遵循以下步骤:
1. 使用存储的最小-最大值将缩放后的预测值和目标值逆变换回它们的原始值范围。
2. 将每个特征乘以其值范围的倒数对应的权重。
3. 计算缩放后的预测值和目标值在原始单位下的MSE。
3. 结果和讨论
在本节中,我们展示了实验的结果,重点介绍了所提出的ExoPrompt条件机制的性能以及基于模拟的预训练的影响。我们首先分析零样本性能,以验证模拟器的准确性并评估未经微调的初始模型能力(3.1)。然后,我们评估在不同光照条件和训练制度下对真实世界数据的微调结果(3.2)。接下来,我们报告了在受控模拟实验中的发现,其中系统地改变了一个外生参数以分析条件效应(3.3)。最后,我们使用相同的受控设置评估ExoPrompt表示对真实世界数据的可转移性(3.4)。表3提供了所有实验的概览,将每个实验映射到其数据域、评估类型以及它支持的关键主张。主要的视觉结果如下:图5展示了微调的缩放结果,图6显示了受控泛化实验,图7、图8分析了学习到的ExoPrompt嵌入,图9、图10展示了对真实世界数据的可转移性。
表3. 实验设计概览。每一行对应一个不同的评估设置,指定了用于训练和测试的数据、评估类型以及每个实验的目的。缩写:GT表示真实值(真实传感器数据),Gen.表示泛化,Cond.表示条件,Arch.表示架构,Synth.表示合成。
实验 | 训练数据 | 测试数据 | 评估类型 | 目的
--- | --- | --- | --- | ---
0-shot | 合成数据 | GT | 零样本转移 | 评估预训练转移和模拟器准确性 | 基线 | HPS
3.2 | 合成数据 + HPS | GT | LED | 跨光照评估预训练和ExoPrompt的好处 | LED
3.2 | 合成数据 + LED | GT | HPS | 跨光照评估预训练和ExoPrompt的好处 | 混合
3.2 | 合成数据 + GT | GT | 时间生成 | 测试跨时间段的鲁棒性 | 受控泛化(cLeakage) | 仅合成数据
3.3 | 合成数据 | 合成数据 | 分布内评估ExoPrompt参数敏感性 | GT | 零样本
3.4.1 | 合成数据 | GT | 合成数据到真实数据的0样本转移能力 | GT | 微调后
3.4.2 | 合成数据 + GT | GT | 合成数据到真实数据的0样本转移能力 | 评估冻结的ExoPrompt嵌入的实用性
附录A | 架构比较
附录B | 合成数据 + GT | GT | 比较 | 证明Transformer作为基础架构 | 条件策略
表4. 使用预训练检查点(ExoLess、ExoPrompt)和GreenLight模拟器比较不同方法的RMSE、RRMSE和ME的0样本结果。结果按数据集组织:顶部行代表混合,中间行对应HPS,底部行显示LED。每个数据集的最佳结果以粗体突出显示。
方法 | RMSE | RRMSE | ME
--- | --- | --- | ---
空单元 | 空单元 | 空单元 | 空单元
TAirRHAirCO2,Airppm | 空单元 | TAirRHAirCO2,Airppm | 空单元
TAirRHAirCO2,Airppm | ExoLess | 11.9 | 125.5 | 630.6 | 561.7 | 300.6 | 561.7 | 30.6 | 71.5 | 15.5 | -11.3 | 22.6 | 179.6 | 0
空单元 | 11.4 | 30.0 | 426.5 | 754.3 | 35.7 | 214.0 | -10.8 | 327.4 | 241.8 | 2
空单元 | 11.2 | 26.7 | 282.5 | 35.9 | 33.1 | 15.1 | -10.5 | 23.4 | 94.0 | 5
ExoPrompt | 8.7 | 31.8 | 241.0 | 38.1 | 721.1 | -7.8 | 26.4 | -134.6 | 5
3.1 合成数据 | GT | 零样本转移 | 评估预训练转移和模拟器准确性 | 基线 | HPS
3.2 合成数据 + HPS | GT | LED | 跨光照评估预训练和ExoPrompt的好处 | LED
3.2 合成数据 + LED | GT | HPS | 跨光照评估预训练和ExoPrompt的好处 | 混合
3.2 合成数据 + GT | GT | 时间生成 | 测试跨时间段的鲁棒性 | 受控泛化(cLeakage) | 仅合成数据
3.3 合成数据 | 合成数据 | 分布内评估ExoPrompt参数敏感性 | GT | 零样本
3.4.1 合成数据 | GT | 合成数据到真实数据的0样本转移能力 | GT | 微调后
3.4.2 合成数据 + GT | GT | 合成数据到真实数据的0样本转移能力 | 评估冻结的ExoPrompt嵌入的实用性
补充 | 架构比较
附录A | 合成数据 + GT | GT | 比较 | 证明Transformer作为基础架构 | 条件策略
附录B | 合成数据 + GT | GT | 比较 | 将ExoPrompt与更简单的条件方法进行比较
表4. 使用预训练检查点(ExoLess、ExoPrompt)和GreenLight模拟器比较不同方法的RMSE、RRMSE和ME的0样本结果。结果按数据集组织:顶部行代表混合,中间行对应HPS,底部行显示LED。每个数据集的最佳结果以粗体突出显示。
3.1 零样本结果
在零样本评估中,我们评估了模型在没有任何微调的情况下在真实数据上的性能。这种评估是对微调结果的补充分析,因为它提供了模型泛化到未见数据的能力的见解,并作为模拟器本身的验证机制。因此,对于这部分,我们旨在回答以下研究问题(RQ):未经微调的模拟预训练模型对真实温室数据的泛化能力如何,这揭示了模拟器的准确性如何?表4展示了基线模型的零样本结果。由于这些模型仅在模拟数据上训练,理想的结果是它们的性能与模拟器相匹配。对于所有三个数据集设置(HPS、LED和混合),以RRMSE作为主要指标,温度和RH的结果符合这一预期。然而,一个值得注意的观察是,CO2浓度的最佳结果始终来自预训练模型,特别是ExoLess模型,尽管ExoPrompt模型也产生了可比的结果。这种差异表明模拟器在准确预测CO2浓度方面可能存在局限性。我们假设这可能是由于CO2浓度动态的固有复杂性,模拟器可能无法完全捕捉到这一点,无论是由于底层物理建模还是其参数化。相比之下,我们的基于DL的方法似乎更好地模拟了温度、CO2和RH之间的关系。这一观察强调了评估模拟器准确性和理解其限制的重要性,因为模拟器中的任何系统偏差都可能通过在其数据上训练的模型传播。需要进一步调查以确定模拟模型的改进是否可以增强下游学习和泛化能力。
3.2 基线测试
在预训练检查点的基础上,我们使用ExoLess和ExoPrompt变体在真实数据上评估模型性能。微调阶段从这些预训练检查点开始,超参数与预训练期间使用的保持一致。为了评估学习表示的可转移性和稳健性,我们提出了以下研究问题:基于模拟的预训练在不同光照条件和时间分割下对模型性能有何影响?为了回答这个问题,我们应用了三种不同的数据分割策略。其中两种评估了不同光照条件(HPS vs. LED)下的泛化,这些条件在13个与灯特性相关的参数上有所不同,如PAR效率、热容量和热发射率。第三种关注在混合数据集内的时间泛化。关于真实数据集的详细信息在2.2.3节中提供,具体的微调数据集配置总结如下:
• HPS数据集(hps_only):模型在HPS数据集上训练(95%用于训练,5%用于验证),并在完整的LED数据集上进行测试。
• LED数据集(led_only):模型在LED数据集上训练(95%用于训练,5%用于验证),并在完整的HPS数据集上进行测试。
• 混合微调(finetuning_mixed):同时使用HPS和LED数据集,分割比例为70%-10%-20%。然而,采样是顺序进行的,而不是随机的,意味着前70%的数据(以时间步长计)用于训练,接下来的10%用于验证,最后的20%用于测试。
图5显示了在hps_only、led_only和finetuning_mixed数据集上进行微调实验的结果,分别对应于0样本(标记为“无预训练”)和200,000样本的预训练。尽管我们进行了最多1,000,000样本的预训练,但我们只展示了200,000样本的结果,以避免图表过于复杂,因为这代表了我们分析中最优化和最有信息量的样本大小。
图5. 不同数据集上的微调结果。每一行对应一个数据集(HPS、LED、混合),每一列对应一个目标变量(温度、RH、CO2)。条形图显示了未经预训练(0)和有200,000个合成预训练样本的ExoPrompt和ExoLess模型的RRMSE。虚线表示GreenLight模拟器的基线。结果是基于3次独立运行的平均值;误差条表示95%的置信区间。
图6. 在仅改变cLeakage参数的cLeakage数据集上的RRMSE比较。
3.2.1 HPS数据集
结果表明,大多数模型在所有指标上都优于模拟基线。即使没有预训练,微调后的模型也超过了模拟器,这突显了基于学习的方法即使在真实数据有限的情况下也具有稳健性。在比较ExoPrompt和ExoLess模型时,ExoPrompt在温度和RH方面的表现更好,而ExoLess在CO2方面的误差更低。这表明外生条件的好处是依赖于条件的,并且可能需要更多样化的数据来充分发挥其潜力。虽然使用更大的预训练数据集通常可以提高性能,但收益在达到某个点后往往会趋于平稳。总结这些改进:使用ExoPrompt,我们观察到与不进行预训练相比,温度、相对湿度和二氧化碳(RH和CO2)的均方根误差(RRMSE)分别降低了17.79%、31.19%和14.68%;与模拟基线相比,分别降低了64.08%、43.71%和84.25%。相比之下,表现最好的ExoLess模型在不进行预训练的情况下分别提高了22.12%、39.08%和20.45%,与模拟基线相比分别提高了63.45%、41.49%和84.94%。
3.2.2 LED数据集
所有模型的性能都优于模拟基线。使用预训练数据集大小为500,000、200,000和100,000时,ExoPrompt方法在温度、CO2和RH方面取得了最佳结果。总体而言,在这种情况下,ExoPrompt的性能略优于ExoLess设置。hps_only和led_only数据集之间的一致趋势令人鼓舞,表明该模型具有在不同光照条件下泛化的潜力;然而,需要通过更多样化的设置进行进一步验证以确认这一能力。总结这些改进:使用ExoPrompt,我们观察到与不进行预训练相比,温度、相对湿度和二氧化碳的RRMSE分别降低了32.66%、40.26%和18.99%;与模拟基线相比,分别降低了69.04%、61.40%和83.50%。相比之下,表现最好的ExoLess模型在不进行预训练的情况下分别提高了27.11%、28.01%和14.00%,与模拟基线相比分别提高了68.17%、52.47%和83.38%。
3.2.3 混合微调
使用finetuning_mixed数据集进行的实验有效地评估了模型在不同时间段的泛化能力,这些数据集在试验的早期阶段进行训练,在最后部分进行测试,而不是针对不同的光照条件。测试集对应于序列的最后20%,代表了与训练数据不同的环境条件。大多数模型的性能都优于模拟基线。ExoLess在预训练样本量为200,000时表现最佳,而ExoPrompt方法在预训练样本量为1,000,000时表现最佳(温度除外)。总体而言,ExoPrompt的结果与非ExoPrompt设置相当或更好,特别是在二氧化碳和湿度方面。总结这些改进:使用ExoPrompt,我们观察到与不进行预训练相比,温度、相对湿度和二氧化碳的RRMSE分别降低了24.17%、45.01%和10.62%;与模拟基线相比,分别降低了42.39%、53.39%和76.41%。相比之下,表现最好的ExoLess模型在不进行预训练的情况下分别降低了31.11%、46.31%和21.22%,与模拟基线相比分别降低了43.41%、57.76%和79.20%。
3.2.4 微调实验的总体发现
微调规模实验表明,随着预训练数据集大小的增加,模型性能通常会有所提高,尽管收益并不完全是线性的。在所有数据集(hps_only、led_only和finetuning_mixed)中,ExoPrompt方法的表现要么优于非ExoPrompt设置,要么与其相当。此外,即使没有预训练,所有模型的性能也都优于模拟基线,这证明了它们在有限真实数据下的鲁棒性和超越基于模拟器的预测的能力。这些发现表明,学习到的模型能够更好地捕捉温室环境中的复杂非线性相互作用,而GreenLight模拟模型可能会简化某些动态(例如二氧化碳扩散或湿度波动),这可能是其他温室模拟器的问题。最后,ExoPrompt的相似性能表明,虽然条件化有帮助,但其全部潜力可能需要更多样化或异构的数据来完全实现。因此,在第3.3节中,我们在一个只改变一个外生变量的受控设置中评估了我们的方法。这个实验进一步证实了ExoPrompt在处理结构变化方面的有效性,并展示了其在分布变化下的鲁棒性和可转移性。
从这些带有真实数据的实验中得出的最重要结论之一是模拟器的性能有限及其对微调的影响。值得注意的是,即使没有预训练,模型的表现也优于模拟器。尽管如此,使用这个不完美的模拟器生成的合成数据进行预训练仍然可以在使用真实世界数据进行微调时显著提高下游性能。附录C提供了包括条件效应、预训练改进以及与模拟器基线比较在内的关键定量收益的总结。此外,有关基于模拟的预训练影响的统计验证,请参阅附录G。这突显了即使在数据稀缺的情况下,利用模拟数据的价值。因此,基于模拟的预训练仍然是提高下游性能的实用策略,当真实世界感测数据有限时。
3.3 受控的基于模拟的泛化能力测试
在3.2.4节中,我们观察到我们提出的ExoPrompt方法与ExoLess模型之间的结果相当。尽管这表明ExoPrompt具有潜力,但由于真实数据的多样性有限,其全部优势在当前设置中并未实现。为了进一步研究我们模型的泛化能力,我们提出了以下研究问题:当只改变一个外生参数时,这些模型对模拟器生成的未见数据的泛化能力如何?请注意,这个实验完全在合成领域内评估泛化能力。模型在模拟器数据上预训练,并在具有不同cLeakage值的保留模拟器数据上进行测试。第3.4节将分别检查向真实世界数据的转移情况。如2.4节所述,我们设计了一个受控实验来探讨这个问题。图6展示了基于模拟的泛化实验的结果。ExoPrompt模型在所有三个目标变量上的表现都一致优于ExoLess,平均温度的RRMSE降低了13.13%,二氧化碳降低了19.37%,相对湿度降低了13.47%。配对t检验(见附录H)确认了这些改进对于温度和相对湿度是显著的(p<0.05),对于二氧化碳则是边缘显著的(p=0.0854)。
尽管ExoPrompt变体引入了额外的参数,但模型总大小的增加幅度很小,仅比ExoLess多出约2%(4.3M参数对比4.2M参数)。尽管有这种小幅增加,性能提升仍然显著,支持了之前的发现,即轻量级的条件化策略可以带来强大的泛化改进(Li和Liang,2021年;Lester等人,2021年)。这些结果提供了强有力的实证证据,表明即使只对一个外生变量进行条件化,也可以增强模型的泛化能力和对分布变化的鲁棒性。
3.3.1 ExoPrompt嵌入分析
为了理解ExoPrompt如何学习表示外生变量并验证条件化机制是否捕获了有意义的关系,我们分析了学习到的嵌入的内部结构。这项分析有两个目的:首先,验证模型确实学习了条件变量的结构化表示,而不仅仅是任意映射;其次,展示ExoPrompt机制的可解释性。为了进行这项分析,我们提取了MLP投影器为22个不同的cLeakage值生成的提示向量。然后使用两种互补的可视化方法分析这些高维嵌入(512维向量)。首先,我们计算所有提示向量之间的成对余弦相似度,并将它们可视化为热图(图7)。热图中观察到的平滑梯度结构表明,ExoPrompt机制以连贯和结构化的方式捕获了不同泄漏水平之间的相对相似性。
图7. 22个不同cLeakage值的ExoPrompt嵌入之间的余弦距离矩阵。
其次,我们应用主成分分析(PCA)来降低提示嵌入的维度,并在二维空间中可视化它们(图8)。这种降维技术通过将512维向量投影到捕获最多方差的两个主成分上来揭示嵌入空间的底层几何结构。虽然沿单一轴并不严格单调,但ExoPrompt嵌入空间在cLeakage变化时形成了一个低维的、有序的流形。这表明学习到的嵌入有意义且一致地编码了变量。这种行为表明,提示表示不仅可区分,还反映了条件变量的底层结构。这些分析共同支持了ExoPrompt有效地以有意义的方式学习和插值条件化信息的观点。这种参数空间和提示空间之间的对齐对于下游泛化是一个理想的属性,因为在下游泛化中,模型必须适应以前未见过的配置。因此,我们的嵌入分析为ExoPrompt机制在结构化基于模拟的学习设置中的实用性和可解释性提供了进一步的定性证据。
3.4 通过预训练和微调对真实数据的受控泛化
为了进一步评估我们的模型在真实世界数据上的泛化能力,我们在两种情况下评估了从合成数据到真实数据的迁移学习。具体来说,我们提出了以下研究问题:从合成数据学到的表示在零样本设置和微调后对真实数据的迁移能力如何?第一种情况是零样本迁移:仅在合成数据上预训练的模型直接在真实世界的真实数据上进行测试,而不进行任何真实世界的训练。第二种是微调迁移:在评估之前,合成预训练的模型在真实世界数据的一部分上进行进一步微调。我们采用了与第3.3节类似的数据生成和架构超参数设置。然而,这次合成数据是在收集真实世界数据时使用的确切条件下生成的。具体来说,我们复制了相同的温室位置、LED真实数据照明配置和环境设置,仅改变cLeakage参数。有关真实数据集的详细信息,请参见2.2节。
3.4.1 通过合成预训练对真实数据的零样本泛化
在这个实验中,我们通过线性变化cLeakage参数在1e?5到5e?4之间生成了20个合成训练场景。另外创建了两个中间值(2e?4和5e?5)的验证场景,分别代表低和高的绝缘条件。重要的是,测试仅在真实世界的真实数据上进行,使我们能够评估模型的零样本泛化能力。图9显示了在GT数据集上的零样本评估结果。尽管ExoPrompt模型在所有三个指标上的表现都一致优于ExoLess,但温度和相对湿度的差异在统计上并不显著。然而,对于二氧化碳浓度,ExoPrompt取得了显著改进,RRMSE降低了45.65%,这种差异在统计上是显著的。这一结果可能是由于二氧化碳水平在GT设置中对cLeakage参数的依赖性更强。与温度或湿度不同,后者通过加热和通风系统更好地调节,二氧化碳注入是有条件的,只有在内部二氧化碳水平低于特定阈值(Katzin等人(2020年)所述的1000 ppm以下)时才会触发。因此,二氧化碳动态更容易受到泄漏变化的影响,ExoPrompt对cLeakage的条件化提供了非常有用的上下文。相比之下,对于温度和相对湿度,控制系统可能会抑制泄漏的可观察效应,使得模型从合成数据到真实世界设置的迁移更加困难。这可能解释了在这些变量中观察到的相对较小的性能提升。
3.4.2 通过微调在部分真实数据上增强泛化
为了进一步评估我们的模型在真实世界数据上的泛化能力,我们在两种情况下评估了从合成数据到真实数据的迁移学习。具体来说,我们提出了以下研究问题:从合成数据学到的表示在零样本设置和微调后对真实数据的迁移能力如何?第一种情况是零样本迁移:仅在合成数据上预训练的模型直接在真实世界的真实数据上进行测试,而不进行任何真实世界的训练。第二种是微调迁移:在评估之前,合成预训练的模型在真实世界数据的一部分上进行进一步微调。我们采用了与第3.3节类似的数据生成和架构超参数设置。然而,这次合成数据是在收集真实世界数据时使用的确切条件下生成的。具体来说,我们复制了相同的温室位置、LED真实数据照明配置和环境设置,仅改变cLeakage参数。有关真实数据集的详细信息,请参见2.2节。
3.4.2.1 通过预训练和微调对真实数据的受控泛化
为了进一步评估我们的模型在真实世界数据上的泛化能力,我们在两种情况下评估了从合成数据到真实数据的迁移学习。具体来说,我们提出了以下研究问题:从合成数据学到的表示在零样本设置和微调后对真实数据的迁移能力如何?第一种情况是零样本迁移:仅在合成数据上预训练的模型直接在真实世界的真实数据上进行测试,而不进行任何真实世界的训练。第二种是微调迁移:在评估之前,合成预训练的模型在真实世界数据的一部分上进行进一步微调。我们采用了与第3.3节类似的数据生成和架构超参数设置。然而,这次合成数据是在收集真实世界数据时使用的确切条件下生成的。具体来说,我们复制了相同的温室位置、LED真实数据照明配置和环境设置,仅改变cLeakage参数。有关真实数据集的详细信息,请参见2.2节。
3.4.2.2 通过预训练和微调在部分真实数据上增强泛化
为了进一步评估我们的模型在真实世界数据上的泛化能力,我们在真实数据的一个子集上对ExoLess和ExoPrompt模型进行了微调。具体来说,我们使用GT数据的前25%(大约8000个样本)进行训练,接下来的10%进行验证,剩余的65%进行测试。学习率降低到1e?5,而所有其他超参数与之前的实验保持一致。重要的是,在微调期间,ExoPrompt投影器被冻结,这意味着只有主要的变换器参数被更新。这确保了与ExoLess的公平比较,因为两个模型经历了相同的参数更新。目标是隔离在预训练期间学到的ExoPrompt嵌入的贡献,并评估它们在将结构化知识从模拟转移到真实世界条件下的有效性。如图10所示,微调显著提高了两个模型的性能。然而,ExoPrompt模型在所有三个指标上的表现都一致优于ExoLess,且统计上显著(p<0.05)。ExoPrompt在温度方面相对提升了3.98%,相对湿度方面提升了9.67%,而在二氧化碳浓度方面则显著提升了49.2%,进一步加剧了在零样本设置中观察到的性能差距。这些发现突显了通过ExoPrompt等机制整合结构化、领域相关信息的价值。即使没有额外的调整,学习到的嵌入在转移到现实世界环境中时仍保持其相关性,这支持了模拟训练的提示可以有效弥合合成领域和真实领域之间差距的观点。在我们这样的领域中,这一点尤为重要,因为现实世界的数据有限,利用先前的结构对于泛化至关重要。
4. 使用机器学习/深度学习进行温室气候预测的领域分析
我们研究了19项利用机器学习和深度学习方法进行温室微气候预测的代表性研究。虽然大多数论文发表于2020年之后,但由于其显著的相关性和影响力,我们也包括了Singh(2017)的研究。这些研究在表5(输入和输出变量)、表6(机器学习/深度学习方法)和表7(作物类型和温室配置)中进行了总结。为了清晰起见,表格中使用了数字标识符而不是完整的引用;相应的参考文献可以在附录E的索引中找到。
对于输入和输出类别,每篇论文可以属于多个子类别。更一般的类型,如温室属性和其他输入/输出变量,在“亮点”列中注明了具体的方法细节。对于机器学习/深度学习方法类别,我们指定了每项研究中使用的主要模型。如果一篇论文采用了多种机器学习/深度学习方法但没有将它们整合到一个统一的框架中,则将其分配到多个类别中。然而,如果这些技术被结合成一个单一的方法,我们将其归类为混合(组合)模型。尽管输入变量、输出变量和机器学习/深度学习方法在所研究的工作中通常都有很好的记录,但对于作物和温室类型的详细程度并没有一致观察到。因此,一些论文在这些类别中被标记为N/A,表明信息要么缺失,要么在论文中没有明确说明。对于考虑了多种作物类型的研究,我们将它们列在所有相关类别下。如果一篇论文提供了关于作物类型的更具体细节,这些信息会被包含在“亮点”列中。在温室类型的分类方面,我们将它们分为四种类型:(i)自然通风型,依靠被动通风;(ii)控制环境型,使用主动系统进行精确的气候控制;(iii)太阳能/节能型,旨在节能和优化太阳能利用;(iv)专用生产型,针对特定作物或生产需求进行定制控制。
4.1. 关键发现和观察
本节概述了用于温室环境微气候预测的最新方法,强调了关键趋势、差距以及未来研究的潜在方向。大多数研究依赖于一组有限的传感器驱动的输入,其中外部温度和内部湿度是最常用的变量。虽然外部湿度、风速、太阳辐射和内部温度等因素在研究中经常出现,但土壤条件、温室结构、内部二氧化碳浓度和作物特性等关键输入却被大大忽视了。值得注意的是,没有一项研究结合了与作物相关的特征,表明文献中存在显著差距。同样,物理常数和建模参数也很少被使用,这限制了模型的可解释性和泛化能力,并在模拟器的输入空间和机器学习/深度学习模型之间造成了脱节。只有E?im-?uri?等人(2024)整合了模拟数据,突显了混合建模方法的潜力。
内部温度和湿度是预测最频繁的两个微气候变量,所有调查的研究都包括了温度,这强调了它在任务中的核心作用(Hatfield和Prueger,2015)。其他输出,如PAR、二氧化碳浓度和作物参数很少被包括,仅出现在少数研究中。值得注意的是,只有两项研究同时预测了内部二氧化碳浓度和内部温度及湿度(Moon和Son,2021;Sun和Chang,2023),这表明在微气候建模领域存在重大差距,因为二氧化碳是与温室运行相关的关键环境参数之一(Iddio等人,2020)。与此一致的是,只有Lin等人(2024)预测了与作物相关的参数,尽管它们与微气候条件有很强的相互依赖性。
表5. 温室微气候预测研究中使用的输入和输出变量概述,包括环境条件、温室参数和预测目标。
类别 类型 参考文献 亮点
输入 外部温度 [3], [4], [5], [6], [8], [9], [10], [11], [12], [13], [14], [16], [17], [19]
外部湿度 [3], [4], [5], [6], [8], [10], [12], [13], [14], [16], [17]
风速 [2], [3], [4], [8], [9], [10], [12], [13], [14], [15]
太阳辐射 [15], [5], [12], [4], [17], [6], [13], [3], [14], [16], [19], [11]
土壤属性 [7], [19] (i) [7]:土壤温度,含水量;(ii) [19]:30厘米深度的土壤温度
温室属性 [9], [14], [17] (i) [9]:风扇速度,冷却温度设定点;(ii) [14]:通风,喷雾器状态;(iii) [17]:风扇,水喷雾
内部温度 [1], [2], [3], [6], [7], [10], [11], [12], [13], [15], [18], [19]
内部湿度 [1], [2], [3], [5], [6], [7], [9], [10], [11], [12], [13], [15], [19]
内部二氧化碳 [10], [11]
其他 [2], [4], [5], [6], [8], [10], [14], [16] (i) [2]:露点,(大气)压力;(ii) [4]:模拟数据;(iii) [5], [14]:露点;(iv) [6]:光照强度;(v) [8]:PPFD,外部二氧化碳浓度,风向;(vi) [10]:PAR;(vii) [16]:露点,表面压力,大气压力
输出 内部温度 [1], [2], [3], [4], [5], [6], [7], [8], [9], [10], [11], [12], [13], [14], [15], [16], [17], [18], [19]
内部湿度 [1], [2], [3], [4], [6], [9], [10], [11], [12], [13], [14], [15], [16], [17]
内部二氧化碳 [11], [16]
太阳辐射 [11], [14]
PAR [10], [16]
作物参数 [8] (i) [8]:叶面积指数,鲜果重量,地上干物质
其他 [2], [7] (i) [2]:露点,(大气)压力,风速;(ii) [7]:土壤温度
表6. 温室微气候预测文献中使用的机器学习/深度学习方法总结。
方法 参考文献
传统机器学习 [3], [5], [9]
MLP [1], [3], [4], [11], [12], [15]
RNN [2], [3], [6], [11], [13], [14], [16], [18]
变换器 [7], [19]
图神经网络 [13]
混合模型 [8], [10], [16], [17]
大多数现有的微气候预测研究依赖于循环神经网络(RNN)或简单的前馈模型,如MLP,这反映了任务的时间序列性质,但也反映了该领域在架构多样性方面的局限性。像变换器和图神经网络(GNN)(Mienye和Swart,2024)这样的先进架构仍然没有得到充分探索。越来越多的工作采用混合模型,将传统回归器或简单的前馈网络与RNN变体结合起来。
在作物选择方面,相关研究主要集中在番茄上,这符合它们作为最广泛种植的温室作物的地位(Dohlman等人,2024;Shamshiri等人,2018)。其他作物如樱桃、辣椒、黄瓜和生菜也出现了,表明研究重点有一定的多样性。然而,仍然存在一个显著差距:没有一项研究将作物类型作为输入变量,尽管已知它对温室微气候有影响(Ogunlowo等人,2021)。此外,19项研究中有7项没有指定使用的作物类型,这限制了这些模型在不同温室环境中的可重复性和适用性。温室类型的模式类似:几项研究没有指定使用的温室类型,只有2项研究将温室属性作为输入变量,尽管它们对内部微气候条件有重大影响(Choab等人,2019)。
表7. 温室微气候预测文献中使用的作物类型和温室配置总结。
类别 类型 参考文献 亮点
作物 番茄 [4], [5], [8], [9], [10], [11], [14], [16] (i) [8], [10], [16]:樱桃番茄;(ii) [8]:牛番茄
樱桃 [18]
辣椒 [4], [5], [11], [14] (i) [5]:甜椒;(ii) [11]:辣椒;(iii) [14]:辣椒
草莓 [1]
黄瓜 [4], [19]
生菜 [4]
其他 [6], [19] (i) [6]:食用蘑菇、高端花卉和各种蔬菜(N/A);(ii) [19]:甜瓜
N/A [2], [3], [7], [12], [13], [15], [17]
温室类型 自然通风型 [5], [15]
控制环境型 [2], [4], [9], [10], [16], [17]
太阳能/节能型 [6], [13], [19]
专用生产型 [3], [8], [12], [14] (i) [3], [12]:MULTI-SPAN,自动自然通风;(ii) [8]:用于番茄种植的塑料温室;(iii) [14]:双模式,双拱温室,用于幼苗环境
N/A [1], [7], [11], [18] (i) [7], [11]:提到尺寸但未作进一步说明
5. 背景和相关工作
微气候指的是非常小且特定区域内的环境条件(Geiger等人,2009)。在温室中,微气候预测(室内气候预测)是指对温室结构内的环境条件(如温度、湿度、二氧化碳浓度、辐射)进行预测和模拟。最终目标是通过数据驱动和/或基于模型的决策支持系统来优化植物生长、提高资源效率(例如水、能源)并维持最佳作物条件(van Beveren等人,2015;Shamshiri等人,2018)。
微气候条件在影响作物生长、产量和质量方面起着关键作用,因此对其准确预测对于受控农业系统至关重要(Vanthoor等人,2011;Rezvani等人,2021)。传统方法主要依赖于基于数学和物理原理的模拟温室气候模型(Ten Cate,1983;Katzin等人,2022),而最近的研究越来越多地利用机器学习和深度学习技术(Jha等人,2019;Al-qudah等人,2025;Escamilla-García等人,2020)。在本节的其余部分,我们重点讨论使用机器学习和深度学习进行温室微气候预测。
5.1. 我们与现有文献的不同之处
考虑到第4节中的领域分析,我们的工作显著扩展了输入空间,与之前的研究相比。即使在最基本的配置中,我们的模型也使用了表5中列出的所有类别的18个输入变量,而没有任何一篇研究同时使用了这整套变量。除此之外,我们还引入了254个外生参数,涵盖了环境常数、材料属性、结构和气候控制特征、照明和辐射特性以及作物级别的生理变量。通过整合这些物理和机械属性,我们的方法与物理感知的机器学习保持一致,标志着向物理感知的温室环境神经网络迈出的一步(Raissi等人,2019;von Rueden等人,2019;Faroughi等人,2022)。此外,我们的研究是少数明确在温室微气候预测中包含二氧化碳浓度的研究之一,解决了文献中的一个显著差距。
E?im-?uri?等人(2024)使用模拟数据进行训练,展示了其潜力,但没有将其与真实世界数据结合起来。同样,Moon和Son(2021)探索了将预训练的深度神经模型适应不同温室环境的知识转移。我们的方法在这两个方向上都有所建树,通过在模拟数据上进行预训练并在真实世界观察上进行微调,从而形成了一个基于模拟的、适应领域的学习框架。这种策略在温室微气候预测的背景下仍然没有得到充分探索,但它为提高模型鲁棒性、可转移性和在不同温室设置中的泛化提供了有希望的途径。
像变换器这样的最新架构(Vaswani等人,2017)在温室微气候预测中仍然很大程度上未被探索。我们整合了变换器,并引入了受提示调整(Lester等人,2021)启发的外生提示,以动态地根据环境、结构和操作参数对模型进行条件化。这提高了在不同温室条件下的可解释性和适应性。与假设输入分布静态的传统模型不同,我们的框架明确地根据外生因素对预测进行条件化,提高了模型的鲁棒性和领域泛化能力。我们解决了微气候预测中的一个主要挑战,即针对特定温室设置训练的模型难以泛化。这标志着向温室微气候预测的基础模型迈出的一步,提高了在不同温室设置中的鲁棒性和可转移性。
6. 局限性
尽管我们的框架在照明条件、数据集和泛化设置方面表现出了有希望的性能,但仍存在几个局限性。首先,真实世界的数据集来自荷兰Bleiswijk的一个温室设施,这限制了关于跨温室泛化的结论。虽然两种照明条件(HPS vs. LED)确实涉及与灯特性相关的13个外生参数的变化(例如PAR效率、热容量、热发射率),但这只代表了全部254个参数空间的一小部分。使用结构多样化的设施进行跨温室和跨季节的验证仍然是未来的重要工作。其次,我们的实验仅依赖于为Venlo型温室设计的GreenLight模拟器。结合其他模拟器或扩展到不同类型的温室可以提供更广泛的验证,并可能在这些模型组合使用时提高泛化能力。第三,尽管ExoPrompt条件化机制有效地整合了外生变量,但它缺乏关于其条件化过程最优性的理论保证。未来的工作可以探索架构改进或结合辅助损失函数来提高条件化质量。最后,由于条件化输入的数量众多,目前在现有公共数据集上评估所提出的方法并不简单。大多数可用数据集没有提供构建我们框架中使用的完整输入表示所需的详细元数据。这限制了模型的即时可重复性和基准测试,并反映了温室微气候建模领域中的一个更广泛挑战。7. 结论与未来工作
**关键发现**
在这项研究中,我们提出了一种结构化的温室气候预测方法,该方法利用模拟器生成的数据来提高模型在现实世界环境中的性能。我们方法的核心是ExoPrompt机制,这是一种轻量级的条件化方法,它将结构、环境和作物级别的外部参数编码成提示向量,以指导时间序列预测。通过广泛的实验,我们证明了即使在使用不完美的模拟器的情况下,对合成数据进行预训练也能显著提升下游性能。我们进一步证明了纳入外部参数可以提高模型性能,特别是当这些变量表现出有意义的变化时。我们的对照实验系统地改变了一个外部参数,验证了ExoPrompt在捕捉结构化依赖关系和改善对未见条件的泛化能力方面的稳健性和有效性。虽然我们的方法目前专注于特定类型的温室和模拟环境(Venlo型温室使用GreenLight系统),但通过修改条件输入,它可以很容易地扩展到其他配置。
**实际意义**
展望未来,我们框架中的设计选择符合数字孪生(DT)集成的要求。条件化机制有可能支持关键的数字孪生功能:通过改变外部参数来模拟不同情景,以及跨环境适应性,使单个模型能够表示不同的温室配置。如果在更多多样化的真实世界数据集上得到验证,这种方法可以解决数字孪生可扩展性的一个关键问题:在多种物理系统中部署相同的预测模型。虽然当前的工作主要集中在预测上,但该框架为开发预测性数字孪生奠定了基础,这些数字孪生最终可以支持温室操作者的情景分析和决策支持。
**未来工作**
根据这一愿景,未来的工作将探索:
(i) 将该方法扩展到强化学习和控制应用中,以实现闭环温室优化,从而构建一个全面的数字孪生框架;
(ii) 进行更广泛的泛化研究,涉及更多的作物类型、模拟器和气候情景,可能只需微调ExoPrompt嵌入,而保持主模型不变。此外,我们计划研究ExoPrompt机制的几项技术改进,包括:
(i) 实施受类似原理启发的更复杂的条件化机制,如前缀调优(prefix-tuning)、p-tuning或LLaMA-Adapter(Li和Liang, 2021; Liu等人, 2021; Liu等人, 2021; Zhang等人, 2023);
(ii) 自动选择和降维外部参数;
(iii) 为更高维度和噪声更大的环境改进条件化策略。
**CRediT作者贡献声明**
Gürkan Soykan:撰写——审阅与编辑、撰写——原始草稿、可视化、验证、软件、方法论、调查、数据管理、概念化。
?nder Babur:撰写——审阅与编辑、监督、项目管理、概念化。
Qingzhi Liu:撰写——审阅与编辑、监督、项目管理、概念化。
Bedir Tekinerdogan:撰写——审阅与编辑、监督、项目管理。