基于物理原理的深度学习方法,提升EEM荧光分解的稳定性与可解释性
《Spectrochimica Acta Part A: Molecular and Biomolecular Spectroscopy》:Physics-guided deep learning for improved stability and interpretability in EEM fluorescence decomposition
【字体:
大
中
小
】
时间:2026年07月05日
来源:Spectrochimica Acta Part A: Molecular and Biomolecular Spectroscopy 4.3
编辑推荐:
谢贝贝|李慧康|邹岩|韩佩西摘要三维激发-发射矩阵荧光光谱法因具有高灵敏度、快速获取数据以及多维信息含量,被广泛用于分析溶解有机物质。在实际应用中,平行因子分析通常需要严格的质量控制与复杂的预处理,而基于数据的机器学习方法则受限于现有EEM数据集的规模较小且稀疏。本文提出了一种统
谢贝贝|李慧康|邹岩|韩佩西
摘要
三维激发-发射矩阵荧光光谱法因具有高灵敏度、快速获取数据以及多维信息含量,被广泛用于分析溶解有机物质。在实际应用中,平行因子分析通常需要严格的质量控制与复杂的预处理,而基于数据的机器学习方法则受限于现有EEM数据集的规模较小且稀疏。本文提出了一种统一的、符合物理原理的EEM分解框架,该框架以双重归一化为核心,将光谱形状与强度分离,从而在不同的数据条件下实现稳定的逆向映射。通过在OpenFluor参考光谱生成的合成数据上开展监督训练,并在有限测量条件下的实验数据集上测试所得到的逆向求解器,结果显示在合成数据上能够获得精确的重构,均方误差约为10?6。在预处理较为有限的真实数据上,该框架仍能保持稳定性能,有效区域的平均绝对重构误差在10?3至10?2之间。重构得到的组分光谱与参考荧光特征高度匹配,组分级别的光谱相似度均值约为0.94。这些结果表明,在真实训练数据有限的情况下,通过具有物理约束的合成数据校准,可以实现稳定且可解释的EEM分解。所提出的框架在概念上也可扩展到其他线性混合光谱分析方法。
引言
激发-发射矩阵荧光光谱法因其高灵敏度、快速分析能力以及丰富的多维信息,被广泛应用于分析溶解有机物质、微量污染物来源以及监测水生系统中的生态过程[1]、[2]、[3]。基于EEM的分析方法已应用于河口与海岸污染评估、废水特性分析,以及区分自然来源与人为来源的物质等众多领域[4]、[5]、[6]、[7]。然而,EEM光谱往往存在特征重叠现象,还可能受到内滤效应和散射的影响,这给定量分析带来了困难,因此需要经过精细的预处理并采用先进的分析方法[8]。
传统的化学计量学方法,如平行因子分析、主成分分析以及相关的区域整合技术,长期以来一直被用作分解EEM数据集并识别特征荧光组分的工具[9]。不过,这类传统方法通常需要主观选择参数、精心进行初始化处理,并且还需要大量的预处理工作[10]。其性能还会受到模型阶数选择、预处理方式以及数据集差异性的影响,这就使得在不同地点和仪器上难以实现一致的分析结果。
近年来,人们越来越关注机器学习与深度学习方法,这类方法能够自动提取特征,提升实际环境中的荧光分析可靠性[11]。早期将机器学习应用于EEM时,通常是将手工设计的特征与支持向量机、随机森林或偏最小二乘模型等分类器相结合,用于区分不同来源的物质[12]、[13]。这类方法虽然提升了识别精度,但仍依赖于专家设计的特征工程。近年来,卷积神经网络以及编码器-解码器架构的出现,使得可以直接在原始或经过简单处理的EEM矩阵上进行学习,从而避免了手动选择峰值的过程,也能更好地处理光谱特征的重叠问题[14]、[15]、[16]。注意力机制则进一步增强了方法的可解释性,它能够突出对分类或分解最有用的激发-发射区域,有助于缩小“黑箱式”预测与化学计量学理解之间的差距[17]。
尽管在基于化学计量学和深度学习的EEM分析方面已经取得了一定进展,但要确保从EEM数据中获得具有物理意义且可迁移的学习结果仍然面临挑战。目前一些基于CNN的模型通常将EEM视为二维数组(或灰度图像),并且可能会关注化学上并不重要的区域,这说明如果没有领域结构或约束,纯粹以图像为驱动的表达方式可能会产生误导[17]、[18]。此外,不同仪器和实验室之间的差异,比如光谱校正方式的差别以及对待光学密度较高样本的处理方式不同,都会降低EEM数据之间的可比性,进而导致在实际应用时出现领域偏移。从建模的角度来看,虽然归一化通常作为预处理步骤,但将强度缩放和领域对齐纳入训练目标,或许可以提高不同仪器和不同浓度条件下的分析稳定性——这一思路也体现在针对EEM数据开展的领域自适应研究之中[19]、[20]。
现有的EEM深度学习研究大多是将EEM视为类似图像的输入,用于在相对标准化的条件下进行分类、源识别或直接预测。而本研究则将EEM分解视为一个受物理规律约束的逆向问题,其所依据的仍是化学计量学分析中使用的线性混合假设。从这个意义上说,所提出的框架并非要取代PARAFAC这种针对特定数据集的局部分解工具,而是旨在构建一个可在标准化光谱空间中进行校准的可重复使用的逆向映射方法,无需针对每个目标数据集重新训练即可直接应用于各类测试数据集。因此,该方法的主要创新点不在于单独使用卷积网络,而在于将与正向模型一致的分解方法、双重归一化以及合成数据监督相结合,形成一个用于恢复EEM组分的统一框架。
本研究基于线性混合模型,构建了一个符合物理原理的EEM光谱分解学习框架,通过双重归一化将光谱形状与强度分离。其主要贡献如下:
- (1)
在双重归一化的空间中,建立了一个与正向模型一致的EEM逆向分解框架。与一般的基于图像的深度学习映射方法不同,该框架要求组分恢复结果必须符合线性混合假设,这样就能通过重新组合预测得到的组分来重建原有的EEM光谱。
- (2)
该方法采用了仅基于合成数据的校准策略,这些合成数据来源于OpenFluor提供的组分光谱,因此无需依靠实际测量混合物中的组分标签即可进行监督训练。这一特点使得该框架有别于通常需针对特定数据集进行本地拟合的传统PARAFAC分析方法,也与那些依赖大量标注实验数据的数据驱动模型有所不同。
- (3)
在统一的标准化输入空间下,该框架在合成数据、标准化的真实数据以及经过轻度标准化的原始数据上均进行了测试。在测试条件下,该框架展现了稳定的重构效果、符合物理原理的组分恢复结果,其性能也优于一些常见的参考方法。
章节节选
理论框架
在本研究中,观测到的EEM样本在标准化空间中被建模为,在标准的线性混合假设下可表示为:其中,表示荧光组分的数量,用于标识各个组分,表示第个单组分光谱,而则表示该组分的相对丰度。符号和分别代表单光谱级和混合级之间的归一化处理。
为减少组分丰度与光谱形状之间的关联,该框架的逆向输出为
模型在合成数据上的性能表现
首先,该框架在合成数据混合物上进行了测试,旨在验证其在有明确真实值的情况下能否学习到正确的逆向映射关系。所有模型都是在独立生成的、包含3到6个组分的混合数据上训练的,而且无论组分数量如何,优化过程都保持稳定。最终得到的各组分层面的均方误差始终在10?6量级左右(见表4),这表明在所测试的组分数量条件下,该框架能够准确还原合成数据混合物的特征。
从质量层面来看,
结论
本研究提出了一种基于数据驱动的同时兼顾物理原理的EEM光谱分解框架,通过光谱形态特征以及与参考光谱系列的一致性,提升了该方法的可解释性。借助双重归一化以及考虑排列顺序的训练方式,该框架实现了光谱形状与强度的分离,并在统一的标准化空间中保证了组分恢复的稳定性。
无论是在合成数据、真实数据还是经过简单处理的原始数据上,该模型都能实现稳定重建,且残差较低
CRediT作者贡献说明
谢贝贝:概念设计、资源获取、研究指导、项目管理、资金申请、论文撰写与修改。 李慧康:概念设计、方法开发、软件应用、数据整理、定量分析、论文初稿撰写、结果可视化。 邹岩:结果验证、实验研究、论文撰写与修改。 韩佩西:结果验证、定量分析、论文撰写与修改。
关于写作过程中生成式人工智能及人工智能辅助技术的声明
在准备本研究报告的过程中,作者们使用了ChatGPT来协助语言编辑和文本润色。在使用该工具之后,作者们对内容进行了仔细审查和必要修改,最终 manuscript的全部责任由他们承担。
利益冲突声明
作者们声明,他们不存在任何可能影响本文研究结果的已知财务利益或个人关系。
致谢
本研究得到了河北省中央引导地方科技发展资金项目(编号:236Z1704G)以及秦皇岛市科技研发项目(编号:202302B023)的支持。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号