基于智能包装膜成像与色度特征多模态融合的三文鱼新鲜度无损检测新方法

《Food Packaging and Shelf Life》：Non-destructive detection of salmon freshness via multimodal deep fusion of intelligent packaging film imaging and chromatic features

本文提出了一种融合智能包装膜成像与色度特征的多模态深度学习框架ICFreshNet，通过嵌入单宁酸-Fe2?复合色素传感器监测三文鱼腐败过程中的pH值与TVB-N（总挥发性盐基氮）变化。该研究采用改进的标量门控融合机制，在本地计算环境实现毫秒级推理延迟，测试准确率达99.0%，为水产品安全监测提供了高效无损的解决方案。

　　

亮点

本研究开发了一种新型柔性荧光光学传感器阵列，通过嵌入单宁酸-Fe2?复合色素实时监测三文鱼腐败过程中的pH和色度变化。智能手机采集的传感器阵列图像用于训练双模态深度学习模型，该模型创新性地融合视觉特征与HSV色度参数。我们提出的ICFreshNet框架基于EfficientNet-B0架构，结合双通道特征提取器与改进的标量门控融合机制，通过轻量级门控融合一致性增强特征鲁棒性与协同性。

材料

实验主要试剂包括天然色素紫草素、单宁酸与FeSO₄的复合物、疏水改性剂十八烷基琥珀酸酐（ODSA）、植物源蛋白基质大豆亲脂蛋白（LP）、成膜剂羟丙基甲基纤维素（HPMC）和聚乙烯醇（PVA）。用于测定总挥发性盐基氮（TVB-N）的化学试剂包括氧化镁、盐酸、硼酸及酸碱指示剂等。

评估指标

本研究构建了定制化的三文鱼新鲜度监测图像数据集，通过高精度成像系统捕获三文鱼腐败过程中TVB-N释放引发的pH变化与色度特征。采用准确率、精确率、召回率和F1分数作为核心评估指标，这些指标能有效衡量模型在分类任务中的性能。

结论

ICFreshNet作为任务导向的多模态融合框架，通过联合建模图像分支与色度序列分支，并经由轻量级门控融合模块实现集成，在受控实验室条件下展现出稳定的判别能力。当前评估可能受单一种类数据集限制，且存在跨设备色漂移的影响。此外，将HSV表示为低维"文本"信号可能低估其他光学线索的表征能力。