基于Transformer多模态融合的非靶向电子鼻指纹与显微成像皮革分类研究

《Molecules》：Non-Targeted Electronic-Nose Fingerprinting and Microscopic Imaging for Leather Classification via Transformer-Based Multimodal Fusion

　　

摘要专业翻译 皮革真伪的快速、无损筛查需要能够捕获互补性挥发物响应与微观结构信息的分析测量手段。本研究开发了RLFormer，一种将交叉响应金属氧化物半导体电子鼻（E-nose）指纹与显微表面图像相结合的多模态工作流程。四类皮革——合成革、猪皮、羊皮和牛皮——各以100个样本为代表，并在标准化的10天实验周期内完成测量。类别水平日平均E-nose响应的相对标准偏差（RSD）范围为1.4%至13.3%（全局均值6.18%），方差组分分析揭示了所有类别共有的逐日响应进行性衰减。ResNet50视觉编码器与两层长短期记忆（LSTM）编码器生成模态特异性表征，并由Transformer编码器进行整合。以第1–7天数据用于训练、第8–10天数据用于测试，RLFormer在五个随机种子下取得了97.67±2.16%的准确率和Cohen's kappa系数，而直接ResNet50–LSTM融合的准确率为87.50%。结果表明，将非靶向挥发物响应模式与微观纹理相结合，对于快速皮革分类具有重要价值。该工作流程定位于筛查用途而非化合物特异性鉴定，在部署前需进行独立验证。

论文解读

一、研究背景与意义

皮革是一种耐用、高价值的材料，广泛应用于时尚、汽车、家具等制造领域。可靠地区分动物源皮革与合成替代品对于质量控制、市场监管和产地验证具有重要意义，同时也能支持负责任采购和打击受保护物种的非法贸易。然而，传统检验高度依赖经验丰富人员的视觉和触觉评估，这种判断具有主观性，会随操作者经验和环境条件而变化。因此，客观、无损的分析工作流程对于常规筛查十分必要。

既有的仪器方法虽能提供化学特异性信息，但各有局限。傅里叶变换红外光谱（FTIR）和拉曼光谱虽快速且样品制备要求低，但成品皮革的光谱常被表面涂层和染料所主导，且动物种属间的差异因胶原基质化学相似而十分细微。质谱方法虽具有高特异性，但通常涉及破坏性取样、专用样品制备或电离源、昂贵仪器和专业操作，限制了高通量快速应用。电子鼻（E-nose）提供了一种不同的分析策略：交叉响应传感器阵列不鉴定单一挥发性有机化合物（VOCs），而是产生可视为非靶向顶空指纹的多变量响应模式。E-nose成本低、便携、快速，但其主要缺点是选择性有限、对湿度和温度敏感以及传感器漂移。显微成像则通过描述孔隙形态、粒面图案和表面纹理提供正交信息源，但图像单独分析可能受光照、压花等表面处理、类内异质性以及类间细微视觉相似性的影响。

多模态学习能够整合描述同一标本不同方面的异质测量数据，在一种模态模糊时提高鲁棒性。将E-nose与计算机视觉数据融合已在食品质量评估中有所报道，但在皮革分析中，非靶向顶空指纹与显微纹理的组合尚未被系统研究。因此，本研究旨在验证E-nose信号作为类别依赖的多通道指纹，与显微图像提供互补信息，使基于交互的融合能够优于任一单一模态和简单特征拼接。

二、研究设计与关键技术方法

研究人员从烟台制革厂（中国山东烟台）商业采购了四种加工皮革材料，每种类别100个标本，共计400个标本。实验在10个连续日内完成，每天分析40个标本（每类10个），标本每天新鲜切割，未施加化学或破坏性预处理。E-nose测量使用配备10个金属氧化物半导体（MOS）传感器的PEN3系统，每个标本置于50 mL密封瓶中，在室温下平衡3分钟，以600 mL/min流速动态顶空采样160秒，响应以相对电导率G/G₀表示。显微图像使用Celestron手持数字显微镜Pro在×50放大倍数下采集，分辨率2592×1944像素。E-nose全160秒响应序列输入LSTM模型，固定窗口（141–160 s）均值用于统计分析和传统分类器。研究采用按采集日期的时序划分：第1–7天280个标本为训练集，第8–10天120个标本为测试集。RLFormer框架由ResNet50视觉编码器、两层LSTM时序编码器和两层Transformer编码器组成，实现跨模态交互融合。

三、研究结果

动态E-nose指纹特征。 四个皮革类别在10个MOS通道上产生不同的平均时间响应曲线。W1W、W2W和W6S通道表现出较明显的类别分离，而其他通道重叠较多。固定窗口内多数通道响应准平稳，但W6S和W3S未达到平台期，因此该窗口被描述为固定时间窗口而非稳态。

日间离散度与传感器水平信息。 类别水平日平均固定窗口响应的RSD范围为1.4%至13.3%，全局均值6.18%。所有四个类别的响应在10天中平行下降12.5%至19.1%，表明存在时间依赖性传感器漂移或测量环境的缓慢变化。方差组分分析显示，八个传感器的日间变异占总方差的65%至95%（ICC=0.65–0.95），日内RSD平均3.81%。31个传感器–类别组合检测到显著线性趋势，方向对应响应幅度的进行性衰减。探索性单因素方差分析显示W1W、W2W和W6S具有最大F统计量，而W3C、W5C和W1S未显示统计学可检测差异。相关矩阵显示W1W和W2W强正相关，W6S和W3C与其他通道相关性较弱，贡献了更独立的响应维度。

探索性PCA与传统E-nose分类。 前两个主成分分别解释66.3%和12.1%的总方差，累计78.4%。得分图显示合成革与天然皮革沿PC1部分分离，但四类未在二维中完全分辨。传统分类器中SVM取得最佳性能，准确率70.92%，加权F1分数70.17%，kappa为0.6122；RF和KNN准确率分别为58.00%和34.75%。

显微图像分类。 图像单独分类中，基础CNN取得最高平均准确率72.50%，其次为ResNet50（66.50%）和VGG16（63.00%）。三个网络均显示明显的种子间变异（标准差6.9–8.7个百分点）。较简单的CNN可能更适合有限的训练集规模和纹理聚焦任务。

多模态融合与消融分析。 消融研究证明结合两种测量模态的明确收益。ResNet50和LSTM单模态基线平均准确率分别为66.50%和60.17%。单模态编码器后添加Transformer将准确率提升至ResNet50+Transformer的74.17%和LSTM+Transformer的70.83%。直接ResNet50+LSTM融合达到87.50%，确认显微与E-nose信息互补。RLFormer取得最高平均性能：准确率97.67±2.16%，加权精确率97.66%，加权召回率97.70%，加权F1分数97.68%，kappa为0.9689。相对直接融合，平均准确率提升10.17个百分点。混淆矩阵显示牛皮在所有150例中全部正确分类，14例误分类分布在其他三类。

四、讨论与结论

从分析角度看，主要发现是非靶向交叉响应顶空指纹与显微结构测量提供互补信息。E-nose子系统和图像子系统单独取得中等准确率，而整合显著提升分类性能。基于交互的融合进一步优于直接拼接，表明模态间关系具有信息性而非简单加和。该工作流程定位于快速筛查方法，具有监管、法医或高价值后果的样品需通过化学特异性参考方法确认。实际应用中，模型训练后分类通过端到端推理完成，所需仪器（便携式E-nose和手持数字显微镜）远不如色谱或质谱设备复杂。

日间衰减对常规操作具有实际意义，长期部署需明确的漂移管理策略，包括参考材料测量、相对归一化、多变量漂移校正方法和周期性模型更新。研究局限包括：PEN3阵列不鉴定单一VOC；方差组分分析基于不同标本而非同一标本的重复测量；数据集来自单一商业供应商和一次受控10天实验；单一时序划分仅量化模型初始化变异；W6S和W3S在固定窗口内未达平台期；外部可重复性依赖数据和代码的可获取性。

未来研究应结合参考材料的重复质控测量与多批次采样，使用化合物分辨分析表征挥发性贡献者，评估对湿度和环境变化的鲁棒性，并在独立来源标本上进行外部验证。

五、结论翻译

本研究开发了一种整合交叉响应E-nose指纹与显微图像的非靶向分析工作流程，用于四类皮革鉴别。在标准化10天采集设计下，类别水平日平均E-nose响应的全局RSD为6.18%；方差组分分析表明该离散度由所有四类共有的逐日进行性衰减主导，而日内RSD平均为3.81%。W1W、W2W和W6S显示最大的传感器水平类别分离。两种模态提供互补信息：直接ResNet50–LSTM融合平均准确率为87.50%，而RLFormer中的Transformer交互在最后3天采集的标本上取得97.67%准确率和0.9689的Cohen's kappa（五个随机种子）。这些发现为在皮革筛查中融合挥发性响应与微结构指纹建立了概念验证。所报告的分类性能反映一次受控的10天实验，不构成化合物水平鉴定或外部部署验证。多批次采样、化合物分辨分析、参考测量漂移管理和独立测试对于建立分析普适性和实践鲁棒性至关重要。