《Micron》：An effective dual-modal multiscale feature extraction and collaborative fusion method for geographical origin identification of food ingredients using electronic nose and hyperspectral data
编辑推荐：
•DMSFormer将电子鼻与高光谱数据结合，用于产品原产地识别。•FEM通过扩展有效信息通道，提升不同检测模态的响应能力。•MSCFM与DMASM可增强多尺度跨模态间的关联与协同作用。•该轻量级模型仅含0.04百万个参数，运算量为4.20百万次浮点运算。引言农产品的品质往往受其
- •
DMSFormer将电子鼻与高光谱数据结合，用于产品原产地识别。
- •
FEM通过扩展有效信息通道，提升不同检测模态的响应能力。
- •
MSCFM与DMASM可增强多尺度跨模态间的关联与协同作用。
- •
该轻量级模型仅含0.04百万个参数，运算量为4.20百万次浮点运算。
引言
农产品的品质往往受其地理原产地的限制。在生长过程中，降水量和温度会直接影响其内部化学成分，从而导致不同产地的产品在品质上存在明显差异[1]。在消费市场中，一些经营者为谋取利益，会虚假标注产品原产地，将劣质产品冒充优质商品出售。这类行为不仅侵犯消费者权益，还会扰乱市场秩序。因此，实现准确、高效且可靠的原产地识别具有重要的实际意义。
传统的溯源与检测方法主要包括感官分析和理化检测。感官分析很大程度上依赖对产品外观、气味和口感的主观评判[8]，由于缺乏统一标准且重复性较差，难以满足现代检测需求。而气相色谱-质谱法（GC–MS）等理化检测方法则在原产地鉴定中具备较高的灵敏度和特异性[2]。相关研究也表明，传统化学分析方法能够在不同食品体系中实现可靠的来源区分[3]，AOAC标准化流程则进一步提升了常规分析的重复性和可比性[4]。不过，这些方法仍需复杂的样品预处理，成本较高，且有时需要破坏性取样。因此，亟需高效且无损的溯源方法。
在农业产品原产地溯源领域，无损检测技术的重要性日益凸显。电子鼻可通过气体传感器阵列捕捉样品的整体挥发性有机化合物特征，从而反映其宏观的气体特性[5]；而高光谱技术则通过分析光谱的吸收与反射特性，提供关于产品化学成分和内部结构的微观信息[6]。由于这两种技术能从不同角度反映同一样品的特性，将其融合运用对于提升检测精度至关重要。
机器学习方法能够提供统一且可重复的分析标准，从而减少主观因素对原产地识别结果的影响。石等人分别采用稳定性竞争自适应加权采样法和最大相关性最小冗余法从高光谱数据中筛选关键波段，并确定电子鼻特征的重要性，随后通过支持向量机构建中层融合策略，实现了对水稻原产地的精准识别[7]。杨等人从HSI数据中提取光谱和纹理特征，并结合电子鼻的特征响应值，再通过竞争自适应加权采样法筛选融合变量，成功实现了对不同茶叶类别中多酚含量的精准预测[11]。刘等人利用连续投影算法从草莓HSI数据中选取特征波长，同时从电子鼻响应曲线中提取统计特征，通过高级融合策略有效判断了草莓的真菌污染程度[12]。朱等人将红茶HSI数据中的特征波长与自主研发的电子鼻的多传感器融合特征相结合，通过改进的特征融合权重分配方法，实现了对多个发酵阶段的客观定量评估[19]。高等人运用主成分分析法降低HSI数据的维度，再将处理后的特征与电子鼻传感器的信号响应特征结合，构建了特征级融合模型，从而快速识别蛋饼中不同的绿色蔬菜成分[18]。郭等人开发了一种用于油脂和肉类电子鼻识别的多模态数据融合方法，他们的多模态数据集由原始传感器数据和Gramian角场图像构成，通过交叉注意力机制融合提取的时空特征，最终实现产品识别[32]。Wadood等人总结了植物源食品溯源与真伪鉴定的分析技术，强调应将互补的分析信号与多元分析方法相结合，而非提出具体的特征提取与分类框架[33]。然而，上述方法在处理高维数据时过度依赖特征降维技术。虽然降维能去除部分冗余信息，但也会丢失大量精细细节，难以全面呈现光谱带与气体响应之间的复杂关联。此外，在样本量较小的数据集中，这些方法的适用性也会受到限制，因为此时样本特征本身就较为有限。
卷积神经网络因具备自适应学习特征的能力和较强的泛化性能，被广泛应用于农产品品质检测领域。张等人提出了一种多数据融合注意力网络，用于整合电子鼻和高光谱系统的信息，其中设计了特征自适应学习单元，能够动态分配融合权重，从而提升鸡蛋品质的识别精度[9]。刘等人开发了输入修正卷积神经网络，通过改进的并行卷积和池化层，在特征拼接之前先提取气味和光谱的浅层特征，进而实现羊肉品质差异的高精度识别[13]。Men等人提出了交错注意力卷积压缩网络，将注意力机制与交错分组卷积相结合，提升了气体传感器数据与高光谱信息的融合效果，可用于区分不同储存时间的水稻[14]。周等人设计了交互式融合网络，通过引入高效的融合交互模块，整合多模态数据，实现了对花生和水稻原产地的精准识别[17]。尽管已有诸多进展，但目前大多数双模态融合研究仍然依赖单尺度特征提取或较浅层次的特征拼接，难以捕捉不同感知域下气体特征与光谱特征之间的深层关联，这也限制了双模态数据的优势发挥。另外，一些复杂的模型难以在需要轻量级架构且能良好适配小样本数据的快速农业检测场景中应用。因此，仍需一种高效的溯源模型，能够在多个尺度上实现深度的跨模态交互，同时保持高精度和轻量化的设计，从而更准确地揭示光谱信息与气味信息之间的内在关联。
以小米和枸杞为研究对象，本研究提出了一种基于卷积神经网络和自注意力的多模态融合方法。该方法通过整合气体与光谱数据，实现了产品的无损检测与原产地溯源。其主要贡献如下：
- (1)
在农产品原产地溯源过程中，小样本的原始特征往往存在噪声和冗余，且不同光谱波段与气体传感器信号的重要性也存在显著差异。为解决这些问题，本研究设计了特征扩展模块。该模块通过身份映射与通道注意力相结合的方式，丰富样本的特征信息。
- (2)
现有的双模态融合研究往往忽视多尺度之间的互补性，且跨模态交互不足。为弥补这些缺陷，本研究提出了DMSFormer。该模型包含多尺度跨模态融合模块和双模态注意力协同模块：多尺度卷积可捕获不同感知域下的双模态特征，而共享查询向量则有助于实现深度的跨模态交互。在该共享查询的引导下，模型能够自适应地分配双模态特征的权重，实现异构信息的协同融合。
章节要点
样本
本研究中使用的小米和枸杞样本具有相同的遗传特性，来自同一收获年度和批次，且采用相同的种植方式培育，唯一的区别在于其地理原产地。为减少存储条件带来的干扰，所有样本在实验前均置于相同的环境条件下存储，以此确保样本的初始状态一致。
补充材料中的图S1展示了
特征扩展模块
为解决小样本数据集中原始特征存在噪声的问题，以及农产品原产地溯源中不同光谱波段和气体传感器信号重要性差异较大的问题，本研究设计了特征扩展模块。
该模块引入了通道注意力机制，用于重新调整各通道的权重，突出重要特征。之后，分别对小米和枸杞的气体样本与光谱样本应用逐点卷积操作，增加特征通道的数量C。此外
实验结果
通过主成分分析法，可直观展示经过DMSFormer处理前后小米和枸杞的特征变化，相应的二维投影结果如图5所示。
在图5(a1)和图5(a2)中，原始的气体特征和光谱特征在经过简单拼接后仅表现出微弱的聚类效应，其整体空间分布依然较为分散。在两个数据集中，不同原产地的样本类别之间存在较多重叠现象，这些结果表明原始的简单处理方式
结论
本研究提出了DMSFormer，旨在解决多模态原产地溯源过程中的主要难题。它是一种针对电子鼻和高光谱数据设计的双模态增强与多尺度协同融合网络，能够高效融合宏观气体特征与微观光谱特征。通过对小米和枸杞的实验验证，结合消融实验、基准对比和特征可视化分析，证明了该模型的有效性。主要结论如下：
CRediT作者贡献说明
孟凡金：论文撰写——初稿撰写、可视化分析、结果验证、方法设计、数据整理。宋一飞：可视化分析、结果验证、数据整理。张向宇：结果验证、数据整理。刘俊奇：问题研究、形式化分析。应玉祥：项目监督、项目管理。史岩：论文撰写——审阅与编辑、项目监督、项目管理、资金申请。
利益冲突声明
作者声明不存在任何可能影响本文研究结果的已知利益冲突或个人关系。
致谢
本研究得到了吉林省自然科学基金（自由探索类项目）[YDZJ202301ZYTS406]的支持。
Fanjin Meng|Yifei Song|Xiangyu Zhang|Junqi Liu|Yuxiang Ying|Yan Shi
