《Current Research in Food Science》：Advancing hyperspectral milk quality assessment: Deep learning-based spatial–spectral fusion for nutrient estimation
编辑推荐：
摘要翻译：不同类型的牛奶具有独特的风味和营养特性，可满足不同人群的多样化膳食需求。随着乳制品品种的增加，乳品掺假行为日益频繁，因此准确量化牛奶中的营养成分显得尤为重要。然而，传统的实验室方法耗时且具有破坏性。高光谱成像（Hyperspectral Imagin
摘要翻译：不同类型的牛奶具有独特的风味和营养特性，可满足不同人群的多样化膳食需求。随着乳制品品种的增加，乳品掺假行为日益频繁，因此准确量化牛奶中的营养成分显得尤为重要。然而，传统的实验室方法耗时且具有破坏性。高光谱成像（Hyperspectral Imaging, HSI）作为一种非破坏性检测技术，能够克服上述局限。由于HSI成本较高且牛奶种类多样，现有的牛奶高光谱数据集仅覆盖较窄的品种范围和有限的营养指标。本研究建立了HSI-MILK83数据集，包含83种乳制品，作为牛奶质量评估的基准数据集。基于该数据集，研究人员提出了两种深度学习模型，用于预测牛奶中的脂肪、蛋白质、碳水化合物和非脂乳固体（Solids-Not-Fat, SNF）含量。第一种模型基于双流网络架构，独立提取空间特征和光谱特征，随后进行融合以增强空间-光谱特征表示。第二种模型引入了深度可分离卷积与注意力（Depthwise Separable Convolution with Attention, DeSCA）模块，该模块将深度可分离卷积与多头自注意力相结合，以捕获不同波长下牛奶图像特征之间的相互关系。在HSI-MILK83数据集上的大量实验评估验证了所提出两种方法的有效性。该数据集和源代码将公开发布。
论文解读文章
牛奶是人体所需蛋白质、脂肪酸和矿物质等必需营养素的重要来源。随着生活水平的提高，消费者对牛奶的需求日益多样化，青少年常选择全脂牛奶以支持身体发育，肝胆疾病患者可能选择脱脂牛奶，而乳糖不耐受人群则需要无乳糖牛奶，这使得市场上乳制品的种类不断增加。然而，乳制品多样化也带来了营养标签错误标识和优质产品假冒的风险，加剧了乳品行业的食品安全隐患。准确检测牛奶营养成分及其变化对于保障牛奶质量和消费者安全至关重要。传统实验室方法通常耗时、具有破坏性且难以大规模应用。光谱技术如中红外光谱、傅里叶变换红外光谱和激光诱导击穿光谱虽在一定程度上提高了检测效率，但仍受限于光谱分辨率、模型泛化能力和特征峰重叠等问题。高光谱成像（HSI）作为集成光谱与成像的非破坏性分析技术，能够同时获取样本的空间和光谱信息，已广泛应用于食品工程领域，特别是在牛奶和奶粉分析中展现出潜力。然而，现有牛奶高光谱数据集在规模、样本多样性和营养指标数量方面均存在不足，限制了鲁棒分析模型的开发与评估。此外，牛奶在储存过程中因氧化和乳糖降解等过程发生成分变化，改变其光谱特征，使营养预测更具挑战性。因此，亟需构建覆盖多样乳制品、储存阶段和营养指标的代表性数据集，以支持基于HSI的牛奶营养预测模型的发展。
在数据集构建之外，如何有效利用空间和光谱信息仍然是高光谱数据分析的主要挑战。尽管双分支架构已被广泛应用于高光谱图像分析以分别建模空间和光谱信息，但这些研究多聚焦于高光谱图像分类任务，即为样本分配离散类别。相比之下，本研究关注牛奶中脂肪、蛋白质、碳水化合物和非脂乳固体（SNF）等连续营养指标的定量回归任务，这要求模型学习空间-光谱表示与营养测量值之间的连续映射，并区分具有相似空间和光谱特征的样本间的细微差异。因此，定量预测对空间-光谱表示学习的要求与面向分类的高光谱研究有所不同。
研究人员首先采用双流架构探索显式空间-光谱解耦策略，该模型遵循“先分离后融合”范式，独立提取空间和光谱表示，随后通过注意力机制进行整合。基于双流模型的探索结果，研究人员进一步开发了DeSCA模型，该模型不将空间和光谱信息显式分离为独立流，而是通过深度可分离卷积学习局部空间-光谱模式，并通过多头自注意力建模光谱特征间的全局依赖关系。研究通过从显式空间-光谱解耦到统一空间-光谱表示学习的递进过程，考察了不同空间-光谱建模策略在牛奶营养指标定量预测中的适用性。本研究的主要贡献包括：建立了包含83种商业乳制品、五个储存阶段共1245幅图像及对应营养测量值的公开高光谱牛奶数据集HSI-MILK83；开发了双流架构作为探究显式空间-光谱解耦可行性的探索框架；基于双流模型观察提出DeSCA架构，通过整合局部特征提取与全局依赖建模学习耦合的空间-光谱表示；并在HSI-MILK83上系统评估了所提架构，DeSCA在脂肪、蛋白质、碳水化合物和SNF预测上分别取得0.0482、0.0154、0.0316和0.1109的均方误差（MSE）。
研究人员开展的研究主要包括以下关键技术方法：构建了包含83种市售乳制品、1245个包装牛奶样本的HSI-MILK83数据集，样本按脂肪含量分为全脂、低脂和脱脂牛奶，并涵盖纯牛奶、高钙奶、无乳糖牛奶、娟姗牛奶和有机牛奶等子类别，所有样本在25°C下储存，并在五个储存时间点（第一至第五个月末）各随机选取三份重复样本进行分析；使用MilkoScan FT120牛奶成分分析仪测定脂肪、蛋白质、碳水化合物和SNF含量；采用HyperSpecr? PTU-D48E高光谱成像仪采集400–1000 nm范围、光谱分辨率4.8 nm、共125个波段的图像数据，并进行黑白校正；传统机器学习方法采用偏最小二乘回归（PLSR）和支持向量回归（SVR），结合多种预处理方法并通过网格搜索优化超参数；深度学习方法包括双流模型和DeSCA模型，输入图像裁剪为224×224×125，双流模型采用光谱分词器和空间分词器分别生成特征向量，并通过协同注意力和自注意力进行融合，DeSCA模块结合深度可分离卷积与多头自注意力。
在实验结果方面，研究人员首先分析了牛奶营养指标在储存期间的变化。对全脂牛奶从一月至五月的监测显示，脂肪含量初期下降，四个月后因脂肪球膜破裂导致脂肪球聚集而上升，随后趋于稳定；蛋白质、碳水化合物和SNF含量均呈现先下降后稳定的趋势，这分别归因于蛋白酶分解蛋白质、乳糖被微生物发酵和与蛋白质发生非酶反应，以及蛋白质和乳糖浓度下降共同导致SNF降低。储存后期酶活性因变性而减弱，各成分含量趋于稳定。
在营养含量预测方面，研究人员将数据集按60%、20%、20%划分为训练集、验证集和测试集，采用分层抽样确保各储存批次和乳制品品牌在子集中均衡分布。与传统的PLSR和SVR方法比较，DeSCA模型在脂肪、碳水化合物和SNF预测上显著优于SVR，而SVR在蛋白质预测上具有更小误差。两种深度学习方法在脂肪预测上均优于传统方法，这是因为脂肪球的空间分布显著影响光散射，融合空间特征的深度学习方法能够有效捕获脂肪相关特征。然而，双流模型在蛋白质、碳水化合物和SNF预测上明显不如SVR，表明在牛奶高光谱分析中显式分离空间和光谱特征再进行融合可能并非最优策略，因为空间和光谱信息可能包含复杂交互，独立特征提取限制了模型利用其互补交互的能力。
在与其他深度学习方法比较中，DeSCA在所有营养指标上均取得最低MSE值。与3D-CNN相比，DeSCA表现出更好的预测性能，尽管3D-CNN能通过三维卷积联合提取空间和光谱特征，但其局部感受野可能限制长距离光谱依赖的建模。Transformer取得了有竞争力的性能，表明全局依赖建模在高光谱分析中的重要性，但DeSCA进一步降低了预测误差，说明局部空间信息同样不可或缺。CNN-Transformer虽整合了卷积和注意力机制，但未持续优于Transformer，表明简单组合不同特征提取模块可能不足以实现有效的空间-光谱表示学习。
消融实验方面，对于双流架构，分别移除协同注意力和自注意力均导致所有营养指标MSE上升，其中移除自注意力造成的性能下降更显著，表明自注意力在协同注意力之后对进一步整合空间和光谱表示尤为重要。对于DeSCA模块，将深度可分离卷积替换为标准2D卷积后MSE一致增加，说明将空间滤波与通道特征整合解耦有助于保留更有意义的波长特定信息；移除多头自注意力同样导致MSE上升，表明注意力机制能够使模型根据上下文相关性选择性地强调或抑制不同光谱通道的信息，并行注意力头还能捕获光谱通道间的多样关系。同时移除两个组件时模型性能最差，证实深度可分离卷积和多头自注意力在空间-光谱表示学习中提供互补贡献。
预处理方法比较实验显示，一阶导数结合归一化和二阶导数结合归一化总体优于其他预处理方法。一阶导数结合归一化在蛋白质预测上表现更好，二阶导数结合归一化在SNF预测上更优。对于脂肪和碳水化合物预测，SVR和DeSCA存在不同最优预处理选择：SVR以二阶导数结合归一化为最优，而DeSCA以一阶导数结合归一化为最优。这种差异可能归因于DeSCA整合了牛奶高光谱数据中的图像特征，脂肪球影响牛奶的光学和颜色特性，较高脂肪含量导致更多光散射使全脂牛奶比脱脂牛奶更白，DeSCA的图像分支能捕获与脂肪含量差异相关的视觉变化，而SVR仅依赖光谱信息。
多标签预测实验表明，采用参数共享的多标签回归模型同时预测脂肪、蛋白质和碳水化合物时，碳水化合物预测获得改善（MSE为0.0288），但脂肪和蛋白质预测不如单标签预测，提示三种营养素从高光谱数据中提供的互补信息有限。
总结讨论部分，研究人员指出虽然双流模型成功提取了互补的空间和光谱表示，但在多个营养预测任务上不如DeSCA和SVR，表明牛奶高光谱图像中的空间和光谱信息可能强耦合，显式分离可能导致两种信息源间重要交互的损失。基于此观察，DeSCA架构通过整合空间-光谱表示学习取得更优性能，证明统一的空间-光谱表示学习可能更适合高光谱牛奶质量评估。研究结论为：所提出的双流模型和DeSCA模型分别基于显式空间-光谱解耦和统一空间-光谱耦合学习两种不同策略进行高光谱数据特征提取；DeSCA在脂肪、蛋白质、碳水化合物和SNF预测上分别取得0.0482、0.0154、0.0316和0.1109的MSE，优于双流模型和传统方法，表明整合的空间-光谱表示学习更适合高光谱牛奶质量评估；多标签预测进一步改善了碳水化合物预测。该深度学习框架有效利用高光谱图像中的空间和光谱信息，为传统仅依赖光谱的分析提供了替代方案，为未来基于HSI技术的食品质量评估提供了新思路。研究局限性包括：特征表示和空间-光谱交互未直接可视化，计算成本和处理时间仍有待优化，跨品牌的泛化能力尚未专门评估，未来工作应引入可解释性方法、开发更高效的架构，并验证更广泛品牌和独立生产条件下的模型性能。
