基于RGB-高光谱融合与温度感知时间建模的牛肉新鲜度分类

《Journal of Food Composition and Analysis》：Beef freshness classification based on RGB–hyperspectral fusion and temperature-aware temporal modeling

　　

快速、准确地评估牛肉新鲜度对于确保食品安全和质量控制至关重要。然而，现有方法主要依赖单模态传感，且未能充分捕捉腐败过程的时间动态。为解决这些局限性，本研究提出了一种多模态框架，该框架集成了RGB成像、高光谱成像以及温度感知的时间建模，用于牛肉新鲜度分类。研究人员开发了一个双分支分词模块，用于从RGB图像中提取空间特征，并从高光谱数据中提取光谱判别特征。随后，引入了一个互补感知融合（Complementary Perception-aware Fusion, CPAF）模块，通过特征对齐和差异建模实现有效的多模态特征集成，与简单拼接基线相比，F1分数从0.8393提升至0.9461。此外，采用了一个温度感知的双层门控循环单元（Gated Recurrent Unit, GRU）来模拟跨多个时间点的时间依赖性，使得F1分数进一步提高至0.9961，准确率达到99.64%，优于HybridSN（F1=0.9922）和3D-CNN（F1=0.9715）。在室温条件下采集的多个时间点的牛肉样本上的实验结果表明，多模态融合与时间建模的集成显著提升了分类性能。所提出的方法为快速、无损的牛肉新鲜度评估提供了一种有效途径。

**论文解读文章**

**一、研究背景与问题提出**

牛肉新鲜度直接关系到食品安全和食用品质。在储存和流通过程中，蛋白质降解、微生物生长和pH值变化等复杂的生化反应会导致牛肉品质下降甚至腐败。因此，开发快速、准确且无损的牛肉新鲜度评估方法对于保障食品安全和提升质量控制水平具有重要意义。传统的检测方法，如感官评价、理化分析（如pH值测量）和微生物学检测，虽然结果可靠，但普遍存在耗时长、操作复杂、难以满足大规模应用效率等局限。

近年来，高光谱成像（Hyperspectral Imaging, HSI）技术因其能同时获取空间和光谱信息，已在肉类品质评估领域得到广泛应用，并被证明在检测色泽、pH值和肌红蛋白含量等新鲜度相关指标方面具有强大能力。RGB成像则能提供直观的颜色和纹理信息，对肉品表面品质变化敏感。这两种模态具有很强的互补性：RGB图像主要捕获外部表观特征，而高光谱数据则揭示内部化学成分的变化。

然而，现有研究大多存在以下不足：首先，多聚焦于单一模态数据，未能充分挖掘不同传感器间的互补信息；其次，大多将新鲜度评估视为静态分类问题，忽略了腐败过程固有的动态变化特性；此外，对环境因素（如温度）的影响考虑不足。这些局限性相互关联，单一模态信息不足限制了特征表示能力，缺乏时间建模和环境感知则阻碍了对动态腐败过程的全面理解。因此，亟需一种能够融合多模态信息并感知时间动态与环境因素的牛肉新鲜度评估新方法。

**二、研究内容与总体结论**

针对上述问题，该研究提出了一种基于RGB-高光谱融合与温度感知时间建模的牛肉新鲜度分类方法。该方法的总体框架包括：一个双分支分词模块，用于解耦RGB和高光谱数据的异质特征，分别提取空间和光谱特征；一个互补感知融合（CPAF）模块，通过特征对齐和差异建模显式探索跨模态互补信息；以及一个融合环境温度信息的两层门控循环单元（GRU）时间模型，用于捕捉牛肉腐败过程的动态演变。实验结果表明，该方法在测试集上达到了99.64%的准确率和0.9961的F1分数，显著优于现有方法，为快速、无损的牛肉新鲜度评估提供了一种高效且可扩展的有效途径。该论文发表于《Journal of Food Composition and Analysis》。

**三、主要关键技术方法**

该研究采用了以下关键技术方法：
1. **多模态数据采集与预处理**：使用Figspec IQ 2.0系统（400-1000 nm，300波段）采集高光谱图像，使用Canon EOS R50相机获取RGB图像。对高光谱数据采用主成分分析（PCA）进行降维，并选取50个波段作为最优表示。所有数据被划分为训练集、验证集和测试集（比例为80.6%/9.7%/9.7%）。
2. **双分支分词模块**：设计了并行双分支结构，RGB分支采用水平与垂直深度可分离卷积提取空间特征；HSI分支引入波段注意力机制，自适应地重新加权光谱通道，以抑制冗余信息并增强判别性特征学习。
3. **互补感知融合（CPAF）模块**：该模块包含特征对齐、互补感知和注意力融合三个子部分。通过InfoNCE对比损失增强跨模态语义一致性，利用双向交叉注意力建模模态间互补关系，并由门控机制根据模态互补程度动态调整融合权重。其效能通过与其他常见融合策略（如早期融合、晚期融合等）的对比实验得到验证。
4. **温度感知时间模型**：构建了一个两层GRU网络。第一层为双向GRU，用于捕获局部时间依赖；第二层为单向GRU，用于建模全局时间关系。在每一层中，将环境温度编码与帧级特征拼接，使模型能够感知温度对腐败进程的影响。

**四、研究结果**

1. **波段选择实验**：通过对10、20、30、50和300个波段配置进行对比，结果显示50个波段（配置V4）在分类性能和计算效率之间取得了最佳平衡，获得了0.8818的F1分数，并表现出更稳定的训练行为。
2. **与现有方法比较**：在与多种传统机器学习方法和深度学习方法的对比中，所提出的完整模型（M3-3）取得了最优性能，准确率为99.64%，F1分数为0.9961，超越了包括HybridSN（F1=0.9922）和3D-CNN（F1=0.9715）在内的所有对比方法。结果还表明，简单地将RGB和HSI数据拼接（如HybridSN+RGB+HSI，F1=0.9743）会引入模态间干扰，反而不如单一HSI输入，这验证了所提双分支分词和CPAF模块的必要性。
3. **消融研究**：
* 针对双分支分词模块的消融实验，证实了引入波段注意力（M1-2, F1=0.8412）相比无双注意力设置（M1-1, F1=0.8012）的性能提升，表明其能有效抑制冗余光谱信息。
* 针对CPAF模块的消融实验显示，在简单拼接融合（M2-0, F1=0.8553）的基础上，逐步引入特征对齐（M2-1, F1=0.8946）和互补感知（M2-2, F1=0.9329），最终完整CPAF（M2-3, F1=0.9461）性能达到最佳。
* 针对温度感知时间模型的消融实验表明，在单帧基线（M3-0, F1=0.9461）上，增加单层GRU（M3-1）和多层GRU（M3-2）可逐步提升性能至0.9703和0.9842。最终引入温度感知机制（M3-3）将F1分数提升至0.9961，证实了融合环境温度信息对建模动态腐败过程的有效性。
4. **可视化分析**：通过UMAP降维可视化显示，所提方法（M2-3）学到的特征簇相比单模态方法更紧凑、类别间区分度更高。混淆矩阵分析显示，M3-3模型将分类错误降至最低，残留错误主要发生在新鲜/次新鲜类别边界。此外，温度感知模型（M3-3）的时序预测轨迹能平滑地随储存时间从新鲜过渡至腐败，且能反映出较高储存温度加速腐败进程的规律。
5. **效率分析**：与性能相近的HybridSN模型相比，所提出的完整模型（M3-3）在取得最优性能的同时，计算量（FLOPs）减少了约44.1%，模型体积减小了约71.3%，展现了良好的性能-效率平衡。
6. **跨批次泛化验证**：通过留一批验证（LOBO）交叉验证实验，所提出模型在7个批次上的平均F1分数为0.8080（标准差0.0942），表明该方法具备一定的跨批次泛化能力，能够捕捉批次不变的腐败模式。

**五、讨论与结论**

**讨论总结**：本研究的讨论部分通过系统的对比和消融实验，深入分析了各模块的有效性。实验结果强有力地证明了以下几点：单一模态信息（无论是RGB还是HSI）在处理复杂的新鲜度分类任务时存在局限性；简单拼接多模态特征不仅无益，反而可能因模态间干扰而损害性能；所提出的双分支分词、互补感知融合以及温度感知时间建模机制，能够有效挖掘模态互补性并捕捉动态腐败过程中的时间依赖性，这对于提升分类准确率至关重要。此外，研究还通过超参数分析和可视化分析，进一步验证了模型设计的合理性和鲁棒性。

**研究结论翻译**：为弥补牛肉新鲜度检测中单模态信息不足、缺乏时间动态建模以及对环境温度考虑有限等局限，本研究提出了一种集成RGB和高光谱信息以及温度感知时间建模的多模态框架。主要结论如下：1. 提出了一种带波段注意力的双分支分词模块，分别提取RGB空间特征和高光谱光谱特征，实现了有效的多模态解耦。与HSI基线（F1=0.8652）相比，融合后的模型（F1）提升至0.9461。2. 引入了互补感知融合（CPAF）模块，通过特征对齐和注意力融合实现跨模态交互，相比简单拼接方法获得了0.1068的提升。3. 开发了一个温度感知的两层GRU模型，通过纳入环境温度信息来模拟时间腐败动态，实现了99.64%的准确率和0.9961的F1分数。本研究的主要局限性在于数据集仅包含单一牛肉类型和相对狭窄的温度范围（23-28°C），且新鲜度标签主要基于pH测量。未来工作将扩展到更多肉类类别和更广泛的环境条件，引入包括TVB-N和总活菌数（TVC）在内的更多新鲜度指标以实现更全面的多指标标注，并探索用于实时应用的轻量级模型设计。总体而言，所提出的方法为多模态食品新鲜度检测提供了一种高效且可扩展的解决方案。