《Journal of Food Engineering》：Multi-modal fusion of in-situ video data and process parameters for online forecasting of cookie drying readiness
编辑推荐：
食品干燥是食品工业中的基础性加工环节，在食品生产与保藏中发挥关键作用。通过去除水分，干燥将原料转化为最终可食用形态，同时改善质地、风味和结构完整性（Floros et al., 2010）。然而，食品干燥是一个高度耗时且能耗密集的过程，占美国工业过程能耗的15
食品干燥是食品工业中的基础性加工环节，在食品生产与保藏中发挥关键作用。通过去除水分，干燥将原料转化为最终可食用形态，同时改善质地、风味和结构完整性（Floros et al., 2010）。然而，食品干燥是一个高度耗时且能耗密集的过程，占美国工业过程能耗的15%（Adnouni et al., 2023）。过程控制是确保产品质量、减少浪费和提高能源效率的重要策略（Farzad and Yagoobi, 2021; Hassoun et al., 2023）。由于食品样品的内在变异性和干燥参数间复杂的相互作用，在降低能耗和缩短周期时间的同时实现一致的产品质量仍然具有挑战性（Li et al., 2025b）。
在线监测通过在干燥周期内实现实时决策能力，提供了一种有前景的解决方案（Hosseinpour et al., 2013; Iheonye et al., 2023）。在一般工程应用中，在线监测系统通常依赖于原位传感和机器学习（ML）模型来分析传感数据（Shao et al., 2013; Lu et al., 2026）。在食品干燥领域，已有研究将机器学习技术应用于数据驱动的决策，例如（Zhao et al., 2021; Przyby? and Koszela, 2023; Oyinloye and Yoon, 2025; Botelho et al., 2025）。然而，大多数现有方法依赖于离线评估或预先校准的模型，限制了其捕捉过程参数、样品变异性和质量属性之间实时相互作用的能力（Mishra et al., 2023）。因此，这些方法在实现实时评估、及时干预和过程调整方面存在不足。
在在线监测任务中，干燥成熟度预测旨在估计达到最优终点所需的剩余时间，对于防止过度干燥或干燥不足以及最小化能耗至关重要（Li et al., 2025a）。然而，准确的实时干燥成熟度预测尚未得到充分研究，且由于以下原因尤其具有挑战性。首先，虽然原位图像或视频数据提供了丰富的视觉信息并允许连续监测物理变化（Ma et al., 2023），但当前方法未能充分利用这一潜力。大多数现有方法会中断干燥过程或需要手动采样进行测量，这干扰了实时监测，且对质量评估的可靠性有限（Zambrano et al., 2019）。尽管先进的计算机视觉（CV）技术可以增强原位监测（Jia et al., 2025），但许多基于CV的方法并非针对在线预测而设计。它们通常将高维图像输入简化为手工特征或表格特征（Sampson et al., 2014; Keramat-Jahromi et al., 2021），导致显著的信息损失和预测精度下降。此外，小数据集、视觉噪声和产品外观的细微变化等实际约束进一步阻碍了鲁棒预测模型的开发。因此，原位图像数据在干燥过程的动态实时控制和调整中仍未得到充分利用。
另一个研究空白在于多模态数据的有效整合。食品干燥产生异构数据类型（Li and Shao, 2025），每种类型都携带独特且互补的信息。多模态融合在充分利用这些信息和增强决策能力方面具有巨大潜力（Zhao et al., 2024）。多模态学习的最新进展证明了其在医疗保健、自动驾驶、机器人和制造等各个领域的有效性，在这些领域，异构数据源的整合相较于单模态方法能够实现更鲁棒和准确的决策。然而，在干燥应用中普遍缺乏有效的多模态融合方法。大多数现有方法将多样化的模态简化为工程化特征，常常导致信息损失和对异构数据处理灵活性有限（Keramat-Jahromi et al., 2021）。迫切需要一种更具泛化性和灵活性的多模态融合方法，以充分利用有限的异构数据集并实现实时决策。
尽管取得了这些进展，食品干燥和食品工程中现有的机器学习、计算机视觉和多模态研究并未为本工作所考虑的在线时间到成熟预测问题提供直接基线。近期基于机器学习的研究越来越多地使用过程参数，如水分测量、光谱信号或其他传感器导出的表格描述符，来预测食品工程系统中的干燥动力学、水分含量、保质期或产品质量（Khan et al., 2022; Ren et al., 2024; Thibault et al., 2025）。然而，这些方法通常设计用于离线预测，而非在持续干燥过程中进行样本级在线预测。基于CV的干燥和食品质量研究可以捕捉颜色、收缩、形状和质地演变等视觉属性，但它们通常依赖于静态图像、手工视觉特征或离线质量标签，而非从原位视频流中建模时间外观演变（Li et al., 2025a）。类似地，干燥和食品质量应用中现有的多模态融合方法通常将异构输入转换为工程化特征向量，或侧重于一般质量预测，而非在持续干燥周期中直接从原始视频和过程参数预测剩余时间到成熟（Li and Shao, 2025）。这些差异表明，仍然需要能够在主动干燥周期中联合使用时间视觉信息和过程参数进行样本级在线成熟度预测的方法。
为解决这些研究空白，本文开发了一种用于食品干燥在线成熟度预测的端到端多模态框架，如图1所示。该框架采用编码器-解码器架构，具有模态特定的编码器，无需手动预转换即可为每个数据源生成嵌入表示，以及一个基于Transformer的解码器，用于捕捉跨模态交互。目标是直接根据原位视频和过程参数，在每个时间戳预测干燥样品达到最优终点（时间到成熟）所需的剩余时间。研究人员通过糖饼干干燥案例研究验证了该框架，并在留一组交叉验证（LOGOCV）下进行评估，这是一种非独立同分布（non-i.i.d.）协议，其中每个测试条件在训练期间完全未见，因此比标准交叉验证要求严格得多。该框架设计为可跨模态配置和在线监测应用泛化。详细的定量结果见第4节。
本文的主要贡献如下：
•提出了一种新颖的模态灵活的多模态融合框架，用于干燥成熟度的在线预测。与主要依赖过程参数、静态图像、工程化特征或离线质量标签的现有干燥预测和多模态融合研究不同，所提出的框架直接结合原位视频流和过程参数，在主动干燥周期中预测剩余干燥时间。
•利用广泛的实验数据集，证明了多模态融合显著提高了预测精度，从而为工业干燥中在线决策的未来研究奠定了基础。
•系统研究了多模态融合模型中各种视频编码器的有效性，揭示了在有限、不平衡数据上模型复杂度与预测精度之间的相关性。
本文的其余部分组织如下。第2节介绍实验设计和数据收集程序。第3节介绍方法，包括问题陈述和详细的模型架构。第4节介绍训练配置、结果以及基线的比较分析，以及消融研究结果。第5节讨论模型在各种配置下的性能。最后，第6节和第7节分别总结全文并提出未来研究方向。
**多模态融合驱动的饼干干燥成熟度在线预测：研究解读**
**一、研究背景与问题**
食品干燥是食品工业中至关重要的加工与保藏环节，通过去除水分将原料转化为最终可食用形态，并改善产品的质地、风味与结构完整性。然而，这一过程高度耗时且能耗密集，约占美国工业过程能耗的15%。由于食品样品固有的批次间差异以及干燥参数之间复杂的交互作用，在降低能耗和缩短加工周期的同时保证产品质量的一致性，一直是行业面临的持续性挑战。过程控制作为确保质量、减少浪费和提升能效的关键策略，其效能高度依赖于对干燥状态的实时感知与准确判断。传统的离线检测方法需要中断干燥过程或进行人工采样，不仅干扰了连续化生产，也难以捕捉干燥过程中样品状态与过程参数之间的动态演变关系。
近年来，基于机器学习的在线监测方法在食品干燥领域逐渐兴起，但多数现有研究仍采用离线评估模式或依赖预先标定的模型，无法实现真正意义上的实时预测与及时干预。具体而言，在干燥成熟度预测这一核心任务中——即实时估计样品达到最优干燥终点所需的剩余时间——目前的研究尚不充分。一方面，原位视频数据虽蕴含丰富的动态外观变化信息（如颜色、形状、质地的演变），但现有计算机视觉方法多将其转化为手工设计的特征向量或静态图像分析，造成大量时空信息的丢失，且难以适应干燥后期视觉变化微弱的特点。另一方面，食品干燥过程会产生多种异构数据（如过程参数与视频数据），这些数据携带互补信息，多模态融合有望显著提升预测性能，但现有干燥应用中的融合方法大多仍停留在将异构数据简单转化为表格特征的传统范式，缺乏灵活、通用的多模态融合框架。此外，工业实际中干燥数据集往往规模有限且呈现非独立同分布（non-i.i.d.）特性，标准交叉验证因数据泄漏风险而无法反映模型对未见工况的真实泛化能力。因此，亟需一种能够联合利用时间视觉信息与过程参数、在干燥过程进行中实现样本级在线成熟度预测的方法。针对上述空白，本研究开发了一种端到端的多模态融合框架，通过模态特定编码器与Transformer解码器直接结合原位视频流与过程参数，实现了对饼干干燥成熟度（时间到成熟）在任意时刻的在线预测。
**二、关键技术与方法**
研究人员在饼干干燥实验平台上开展研究（样品为购自美国尚佩恩沃尔玛的Pillsbury牌糖饼干面团，每份约18.5 g，干燥后减至15–16 g），利用商用烤箱（Nuwave Smart Oven）在四种温度水平（350°F、375°F、385°F、400°F）和两种风扇转速（1000与3000 RPM）组合成的八种工艺条件下进行干燥实验，每种条件重复三次，共获得24批次72块饼干的视频数据。研究人员采用三模态方法构建预测模型：首先，利用Segment Anything Model (SAM)对视频帧中多块饼干进行自动分割；然后，构建由双层全连接网络（处理温度与风速两个过程参数）、预训练ResNet-18（提取每帧空间特征）和双层门控循环单元（GRU，建模帧间时间依赖）组成的模态特定编码器，分别生成表格数据与视频数据的嵌入表示；最后，通过Transformer解码器对融合后的多模态嵌入进行交叉模态交互建模，输出当前时刻的剩余干燥时间预测值。模型采用平滑L1损失函数进行端到端训练，并采用留一组交叉验证（LOGOCV）策略评估模型对完全未见工艺条件的泛化能力。
**三、研究结果与发现**
**3.1 多模态融合模型的整体性能**
实验结果表明，所提出的多模态融合模型在120 s至10 s的预测窗口内取得了约15 s的平均绝对误差（MAE）。与三类传统表格基线模型（线性回归44.92 s、支持向量回归45.01 s、XGBoost 45.77 s）相比，多模态模型的MAE降低了65.7%以上；与仅使用视频数据的单模态消融模型（17.33 s）相比，MAE进一步降低了11.03%。不同时间戳的分析显示，多模态融合模型在干燥早期与晚期阶段均表现出更高的预测精度和更低的预测波动性，且两种模型均在成熟前约60 s时取得最低MAE，此时饼干膨胀至最大面积，视觉特征最具区分度。
**3.2 视频帧数的影响**
输入视频片段包含的帧数直接影响预测精度与计算效率的平衡。随着帧数的增加，模型精度逐步提升，推理时间也随之上升。当帧数超过7帧后，精度的边际改善显著减弱而计算成本急剧增加，因此选择7帧作为输入长度。进一步减少帧数至5、3和1帧时，两种模型的MAE均增大，但视频单模态模型的性能下降更为明显，表明过程参数的引入有效补偿了时间信息缺失带来的负面影响，增强了模型稳定性。
**3.3 训练集规模的影响**
为评估模型的鲁棒性，研究人员将训练组数从7组递减至4组，对应评估组数从1组递增至4组。结果显示，随着训练数据减少，各模型精度均有所下降，但多模态融合模型始终优于视频单模态模型，且其相对优势随训练数据减少而扩大（性能提升幅度从11.03%增至14.88%），说明过程参数提供的上下文信息帮助模型在数据稀缺、工况多变的条件下更好地分辨不同评估条件，展现出更强的泛化能力和鲁棒性。
**3.4 视频编码器的影响**
研究系统比较了五种视频编码器（VideoMAE、TimeSFormer、多递归神经网络MRN、标准CNN、ResNet-18以及ResNet-18+GRU）的性能。结果表明，VideoMAE、CNN和MRN的预测值几乎不随时间戳变化而变化，无法捕捉动态的干燥进程；TimeSFormer虽然能够产生多样化的预测，但由于模型复杂度超出小规模非独立同分布数据集的容纳能力，整体MAE最大。相比之下，ResNet-18及ResNet-18+GRU取得了最低的MAE和更稳定的预测精度，其中混合的双层GRU与ResNet-18组合表现最佳。该结果揭示了在数据规模有限、数据分布特殊的工业场景中，模型复杂度与预测精度之间存在相关关系——过于简单的模型提取不到足够信息，过于复杂的模型则容易过拟合，而适中复杂度的ResNet-18+GRU实现了最优的平衡。
