《Applied Food Research》：Multi-modal zero-shot prediction of color trajectories in food drying
编辑推荐：
食品干燥过程中的颜色变化是过程动态和产品质量的重要指标。尽管已有研究考察了颜色变化，但仍缺乏能够准确高效地预测颜色变化轨迹（即干燥过程中颜色的连续演变）的方法。此外，现有方法通常局限于离散的干燥后测量和低维颜色表征，导致预测能力有限，且在不同工艺条件下的泛化性
食品干燥过程中的颜色变化是过程动态和产品质量的重要指标。尽管已有研究考察了颜色变化，但仍缺乏能够准确高效地预测颜色变化轨迹（即干燥过程中颜色的连续演变）的方法。此外，现有方法通常局限于离散的干燥后测量和低维颜色表征，导致预测能力有限，且在不同工艺条件下的泛化性能较差。本论文开发了一种多模态数据驱动方法，用于在未见干燥条件下对颜色轨迹进行零样本预测。具体而言，每条颜色轨迹被表示为预定义基函数的加权和，从而将预测问题简化为估计一组紧凑的系数。研究人员开发了一种多模态建模方法，从工艺参数和初始样本图像中自动提取信息特征，并将这些特征融合以预测上述系数。为进一步提高泛化能力，研究人员引入了一种相似性信息训练数据选择策略，对训练集进行筛选，仅保留与目标评估场景最相关的条件。总体上，这些要素使所提出的框架区别于现有的干燥质量预测方法，能够在未见工艺条件下实现全轨迹预测。该方法在两个不同的案例研究中得到验证，即饼干干燥和苹果干燥。在训练与评估条件不重叠的零样本学习设置下，模型在饼干干燥和苹果干燥中分别取得了2.12和1.29的均方根误差（RMSE），与基线长短期记忆（LSTM）模型相比误差降低了90%以上。消融实验结果表明，多模态融合和相似性信息训练各自均能独立提升预测精度，两者结合时增益最大。总体而言，这些结果展示了数据驱动轨迹预测在支持食品干燥实时质量监测和决策方面的潜力，并推动未来在更广泛的食品、干燥系统和质量属性中进行验证。
食品干燥是食品工业的基础操作，但过程高度复杂，仅观察初始和最终状态无法捕捉其动态行为。颜色变化作为干燥过程和产品质量的关键指标，其连续轨迹对质量控制和异常检测具有重要价值。然而，现有研究多依赖离散的干燥后测量，计算机视觉方法虽能连续监测但缺乏预测能力，机器学习方法则多局限于标量或终点预测。在工艺参数空间庞大、训练数据有限的现实条件下，实现未见于训练数据的工艺条件下的完整颜色轨迹预测，特别是零样本预测，仍是尚未解决的挑战。该研究发表在《Applied Food Research》，研究人员提出了一种多模态数据驱动框架，通过基函数表示轨迹、多模态特征融合及相似性训练集选择，在饼干干燥和苹果干燥两个案例中实现了零样本颜色轨迹预测。
研究工作围绕三部分展开：其一，将颜色轨迹表示为预定义基函数的加权和，将预测问题转化为紧凑系数估计，避免逐点递归预测；其二，构建多模态编码器，融合表格型工艺参数（温度、风速）和初始样本图像特征，利用ResNet-18保留高维视觉信息以捕捉样本间异质性；其三，引入相似性信息训练集选择策略，仅保留与评估条件共享至少一个工艺参数值的训练样本，以提升零样本泛化能力。在零样本设置下，模型在饼干干燥和苹果干燥中分别取得2.12和1.29的均方根误差（RMSE），较基线LSTM模型误差降低超过90%。消融实验表明，多模态融合与相似性训练各自独立提升精度，二者结合时效果最佳。这些结果证实了数据驱动轨迹预测用于食品干燥实时质量监控的潜力。
技术方法方面，研究人员采用离散余弦变换（DCT）对原始颜色轨迹去噪，并将去噪轨迹分解为多项式、三角函数、对数等预定义基函数的加权组合，以系数向量作为预测目标。多模态编码器中，工艺参数经全连接（FC）层编码，初始图像经ImageNet预训练并微调的ResNet-18提取视觉特征，二者拼接后经FC层输出系数。相似性选择规则基于共享工艺参数值筛选训练子集。基线为32隐单元单层LSTM，输入过去5个时间步及工艺参数，自回归生成全轨迹。饼干数据来自NuWave智能烤箱8种工况（4温度×2风机转速），共72个样品；苹果数据来自伊利诺伊大学厄巴纳-香槟分校定制热风干燥器，涵盖6种工况（3温度×2风速）并控制终点水分含量，共84个样品。
3.1 饼干干燥中的颜色轨迹预测
3.1.1 实验
研究人员在NuWave智能烤箱中进行控温干燥，测试350、375、385、400°F四种温度和1000、3000 RPM两种风机转速，每种条件重复3次、每批3块饼干，共72个样品。实验发现不同工况下颜色轨迹差异显著，且温度与颜色演变并非严格单调关系。
3.1.2 数据准备
利用分段任意模型（SAM）对每帧图像中的饼干进行实例分割，提取像素平均颜色并计算CIELAB颜色差异ΔE。原始轨迹存在噪声，经DCT滤波（截止指数15）平滑后作为真值。结果表明，同一工况下轨迹聚集，不同工况间具有可区分模式。
3.1.3 结果
在零样本预测中，全表格式输入且在所有未见图上训练的LSTM基线RMSE为31.3591，表现最差；仅用表格数据且相似性训练时RMSE降至2.7420；多模态融合且相似性训练时达到最低RMSE 2.1170，较表格版多模态降低41.05%。消融实验证实，多模态融合和相似性训练均独立有效。
3.1.4 讨论
温度和气速通过影响传热传质速率驱动颜色变化，高温加速水分去除和褐变，高气速增强对流交换。相似性训练使模型更好地捕获整体轨迹形状，而图像特征显著改善了曲线陡升阶段的预测精度。
3.2 苹果干燥中的颜色轨迹预测
3.2.1 实验与数据集
研究人员使用富士苹果切片（直径约85 mm，厚度1–3 mm，初始湿基含水率约85%），在60、70、80°C和1.5、2.5 m/s气速下干燥至目标水分含量（10%或20%），时长70–250分钟，共84个样本。同样采用SAM分割和DCT去噪。
3.2.2 结果
基线LSTM RMSE高达10.1517；表格数据结合相似性训练降至1.5635；多模态加相似性训练达到最低RMSE 1.2865，较表格基线改善25.13%。不同工况的颜色轨迹斜率与幅度存在差异，但分离度不及饼干干燥，因低温高水分导致颜色演变更缓慢。
3.2.3 讨论
温度与气速共同影响苹果干燥的颜色演变，但效应较弱。多模态模型在慢速变色场景中仍能保持轨迹形状一致性，表明所提框架对不同干燥动力学具有鲁棒性。
综合两项案例，研究讨论部分指出，该方法在颜色演变速率差异巨大的情况下均能保持准确预测，优于现有针对单一响应或终点的干燥质量预测研究。研究结论部分翻译如下：本文提出了一个多模态数据驱动框架，用于在未见过的工艺条件下预测食品干燥中的颜色变化轨迹。每条轨迹被表示为预定义基函数的加权组合，将预测任务简化为估计一组紧凑的系数。多模态编码器整合表格工艺参数和初始样本图像来预测这些系数，使模型能够捕捉仅靠表格特征无法表示的样本水平异质性。为进一步增强零样本泛化，研究者引入了相似性信息训练集选择策略，优先选择结构相关的训练样本，而非不加选择地使用全部数据集。这项工作的一个关键贡献是，在无需目标条件训练数据的情况下，证明了利用零样本学习框架预测完整未来颜色轨迹的可行性。该方法在饼干干燥和苹果干燥两个不同案例研究中得到了充分验证。在训练和评估条件不重叠的零样本设置下，模型分别达到2.12和1.29的RMSE，与基线LSTM模型相比误差降低了90%以上。消融研究表明，多模态融合和相似性训练都能独立提高预测性能，且两者结合时增益最大。
