基于跨模态可见光-近红外与短波红外光谱融合的可解释多任务学习的冷藏羊肉非破坏性新鲜度评估

《Food Control》：Interpretable Multi-Task Learning with Cross-Modal VNIR–SWIR Spectral Fusion for Non-Destructive Freshness Assessment of Chilled Mutton

　　

摘要

新鲜度是决定冷鲜羊肉安全性、货架期和商业价值的关键因素。总挥发性盐基氮（TVB-N）和菌落总数（TVC）常作为化学和微生物劣变指标的互补指标，但其常规测量具有破坏性和耗时长的问题。光谱传感提供了一种有前景的非破坏性替代方案；然而，与新鲜度相关的信息分布于对理化敏感性不同的光谱区域中，且各区域对特定目标的贡献尚未得到充分表征。为克服上述局限，本研究提出了一种双分支跨模态注意力融合网络（DB-CMAFN），用于从配对的可见/近红外（VNIR）和短波红外（SWIR）光谱中同时预测TVB-N和TVC。两个光谱区域由独立分支编码以保留各自独特的物理信息。光谱通道注意力在每个分支内重新加权与新鲜度相关的响应，双向跨模态注意力实现VNIR与SWIR特征之间的信息交换，门控融合则根据输入自适应调整各模态的贡献。同时，不确定度加权的多任务损失在训练过程中耦合两个预测目标。利用223组在冷鲜贮藏九天内采集的配对光谱，DB-CMAFN在测试集上对TVB-N和TVC的决定系数分别达到0.9425和0.9124，优于单模态和传统融合模型。消融实验验证了各模块的贡献。SHAP分析进一步解释了与劣化过程中色素、水分、蛋白质和脂质变化相关的VNIR–SWIR光谱贡献和跨模态交互作用。本研究为冷鲜羊肉新鲜度的快速、非破坏性、可解释评估提供了一种准确的方法。

引言

冷鲜羊肉比冷冻产品更好地保留了新鲜肉的质地、多汁性、色泽和风味，因此具有较大的商业价值。然而，其较高的水分含量、丰富的蛋白质和脂质以及近中性的pH值有利于冷藏贮藏过程中的微生物增殖和生化劣变（Rood等，2022b）。这些过程包括蛋白质降解、脂质和色素氧化、渗出液形成和异味产生。因此，羊肉新鲜度受贮藏温度、包装、肌肉特性、微生物生态和劣变代谢的强烈影响（Nethra等，2023；Rood等，2022a；Xu等，2021）。在新鲜度指标中，总挥发性盐基氮（TVB-N）反映蛋白质和胺降解产生的挥发性碱性氮，而菌落总数（TVC）表征需氧活菌的微生物负荷；二者表征了相互关联但动力学特征不同的劣变阶段，因此被广泛用作互补指标（Bekhit等，2021；Holman等，2021）。传统的TVB-N和TVC检测方法具有破坏性、劳动密集和耗时长的问题，不适合快速或在线监测。

机器学习提供了一种将非破坏性传感信号转化为定量新鲜度信息的手段。Leng等（2021）将近红外光谱与支持向量回归和偏最小二乘法相结合，对牛肉和猪肉的TVB-N进行定量分析。He等（2025）开发了一种柔性光电原位传感系统用于评估羊肉新鲜度。Zhang等（2025b）采用变量组合population分析和对称堆叠方法预测了包括TVB-N和TVC在内的多个羊肉质量指标。Wu等（2025）将高光谱成像与优化机器学习和轻量级深度学习相结合，用于羊肉新鲜度分级和TVB-N预测。这些研究证明了数据驱动非破坏性新鲜度评估的可行性。然而，许多现有方法仍然依赖于经验预处理、波长选择、超参数调节或样本特定校准。它们在不同生物来源、仪器、包装条件和贮藏环境之间的通用性也有待进一步评估。

多种光学技术已被应用于非破坏性肉类新鲜度评估，包括VNIR、NIR、SWIR、荧光光谱和高光谱成像。Baek等（2021）使用SWIR高光谱成像估算猪肉的TVB-N，而Zhuang等（2022）将紫外荧光成像用于监测猪肉新鲜度。Zhang等（2023）利用可见–近红外成像预测了包装牛肉的TVB-N，并发现包装材料可影响光谱响应。对于羊肉，Zhang等（2025a）研究了高光谱新鲜度评估方法，E等（2025）开发了一种双分支层次光谱特征感知网络。不同光谱区域提供不同的理化信息。VNIR主要对表面颜色、肌红蛋白氧化还原态和光散射敏感，而SWIR和NIR则包含更强的O–H、C–H和N–H倍频和组合吸收。因此，单一光谱区域可能只能捕捉到与劣变相关的微生物、化学、结构和光学变化的一部分。

为克服单模态传感的局限，近期研究探索了多光谱融合和多任务学习。Li等（2023）融合Vis-NIR和NIR高光谱成像以评估多种鸡肉质量属性。Cai等（2024）将VNIR和SWIR数据从双高光谱系统融合到端到端深度模型中以预测鸡胸肉的TVB-N和TVC。Li等（2025）使用多任务交错组Transformer联合预测两个指标，表明跨相关目标的共享表征提高了效率和稳定性。这些研究表明，融合和多任务学习比单任务建模更好地契合了微生物生长和蛋白质降解之间的生物耦合关系。现有融合模型仍有限制：许多方法使用直接拼接或固定策略，假设所有模态具有同等可靠性，而表面脱水、渗出液、脂肪异质性、变色、镜面反射、传感器噪声和贮藏阶段等因素可能导致某一模态退化而另一模态仍保持信息量。此外，大多数双光谱多任务研究使用鸡肉或猪肉，针对冷鲜羊肉联合预测TVB-N和TVC的系统性VNIR–SWIR融合研究仍不充分。

光谱新鲜度评估中的模型可解释性仍是另一个问题。化学计量学、集成学习、卷积和基于Transformer的模型可以提供较高的预测精度，但其光谱决策过程往往难以解释。这在肉类新鲜度评估中尤为关键，因为模型预测应与合理的理化变化相关联。近期研究已开始关注这一问题。Jo等（2024）强调了需要对肉类质量进行更具可解释性的高光谱分析，而Chen等（2026）使用SHAP识别了与牛肉新鲜度特征相关的Vis-NIR波长。然而，大多数现有可解释性研究关注单一传感模态，对于互补光谱区域如何对不同的新鲜度目标做出贡献的信息有限。

为解决上述空白，本研究提出了一种双分支跨模态注意力融合网络（DB-CMAFN），用于从配对的VNIR和SWIR光谱中同时预测冷鲜羊肉的TVB-N和TVC，如图1所示。该网络在独立分支中编码两个区域以保留各自独特的物理信息，通过光谱通道注意力重新加权新鲜度敏感波长，通过双向跨模态注意力进行信息交换，并通过门控融合自适应加权两个模态。不确定度加权的多任务损失利用了TVB-N和TVC之间的生物耦合关系，SHAP分析将所识别的波长和模态与合理的劣变机制联系起来。主要贡献有三方面。第一，双分支框架以样本自适应的方式整合互补的VNIR和SWIR信息，而非固定拼接。第二，在多任务框架中联合预测两个指标，反映其生物关系。第三，通过单区域和跨模态SHAP分析解释各区域如何对每个目标做出贡献，从而提供一种快速、非破坏性和可解释的监测策略。

章节片段

样本准备

新鲜羊肉前腿和后腿肌肉从当地超市和生鲜市场购买。为模拟零售包装，每个样品放入食品级托盘中，盖上食品级保鲜膜，置于保温箱中以0–4 °C连续贮藏九天，以模拟商业分销和陈列。每次测量前，用无菌刀去除可见的皮下脂肪、筋膜和结缔组织。肌肉沿纤维方向切片

光谱特性分析

冷鲜贮藏期间羊肉样品的VNIR和SWIR平均反射光谱如图6所示。从D1到D9，光谱轮廓相似但在强度上存在显著差异，表明贮藏主要改变了光学响应而非产生新的光谱结构。在VNIR区域，平均光谱在512、748和819 nm附近出现最大值，在570和783 nm附近出现最小值。570 nm附近的谷值位于肌红蛋白衍生物的可吸收光区域

结论

本研究开发了一种双分支跨模态注意力融合网络（DB-CMAFN），用于从配对的VNIR和SWIR光谱中同时非破坏性预测冷鲜羊肉的TVB-N和TVC。通过独立编码两个区域并通过跨模态注意力和门控融合进行组合，该模型以样本自适应的方式整合了互补的表面光学和分子吸收信息，同时不确定度加权的多任务损失在训练过程中关联了两个指标。

在223

作者贡献声明

朱荣光：写作–审阅与编辑、验证、资金获取、数据管理。余佳豪：写作–审阅与编辑、验证、监督、数据管理。张少栓：写作–审阅与编辑、验证、监督、调查、资金获取。张孟杰：写作–审阅与编辑、验证、监督、调查。许颖：写作–初稿、软件、方法学、形式分析。刘娜娜：写作–审阅与编辑、验证、监督，

未引用参考文献

Bai等，2025；E等，2025。

利益冲突声明

作者声明不存在已知的可能影响本文所报告工作的竞争性经济利益或个人关系。

数据可用性

数据可根据要求提供。

利益冲突声明

? 作者声明不存在已知的可能影响本文所报告工作的竞争性经济利益或个人关系。

致谢

本研究获得国家现代农业产业技术体系CARS-38专项基金（项目编号：CARS38）资助。本研究还获得中国农业大学"智援新疆——'小专家团'助力 sheep 产业高质量发展"创新拓展人才计划、CARS-38（中国农业产业技术体系羊产业国家现代产业技术体系项目）专项基金以及中国2115人才培养计划资助

许颖|张孟杰|李骏|刘娜娜|余佳豪|朱荣光|张少栓

中国农业大学，北京 100083，中国