光谱学中用于可靠信号提取的概率去噪

《PRX IntelligenceNEW》：Probabilistic Denoising for Reliable Signal Extraction in Spectroscopy

　　尽管深度学习为科学研究提供了强大的能力，但其应用常常受到缺乏定量可靠性的阻碍。为解决这一问题，我们引入了一个概率去噪框架，能够同时从噪声数据中提取去噪信号和逐元素的预测不确定性。我们在三维角分辨光电子能谱数据上展示了这一方法，结果表明该模型能够从平均每个体素仅0.02个电子的泊松分布噪声中可靠地恢复铜氧化物超导体的光谱特征。至关重要的是，我们证明了这些预测的不确定性可以传播到随后的超导能隙分析中，从而能够以具有科学意义的误差棒进行定量参数提取。此外，我们通过成功将该方法扩展到二维X射线衍射数据，验证了我们方法的广泛适用性。最终，这种方法确立了不确定性感知的深度学习不仅作为一种可视化工具，而且作为一个严格的科学数据分析框架。尽管深度学习在解决复杂非线性问题方面表现出色，但为何其融入科学研究的进程明显慢于其他实际领域？答案之一在于经验性能与科学严谨性之间的根本差距[1–3]。虽然工业应用往往优先考虑性能，但科学应用需要结果的可靠性和可解释性。标准深度学习模型常被批评为“黑箱”，通常提供点估计而没有明确表示潜在的不确定性和中间推理[2]。这些问题在信号恢复任务（如去噪）中尤为关键。虽然用噪声破坏干净数据是一个良定义的正问题[图1(a)]，但从噪声数据中恢复原始干净数据是一个不适定的逆问题[4–6]。由于噪声数据本质上携带不完整的信息，去除噪声并从而恢复原始干净信号具有高度模糊性，可能导致多种看似合理的解[图1(b)]。这种去噪中固有的模糊性阻碍了可靠分析，并需要在科学领域成功应用时量化统计不确定性。事实上，不确定性感知的深度学习作为满足这一需求的有前景方向已引起越来越多的关注[7–10]。图1. 具有不确定性量化的光谱数据概率去噪概述。(a) 正问题：向干净光谱添加噪声（良定义）。(b) 逆问题：从噪声数据中恢复原始光谱（由于信息损失而不适定）。(c) 概率去噪器：神经网络将噪声输入映射到去噪输出（预测均值）和不确定性图（预测标准差），提供逐体素的置信度估计。实现这一想法的一个自然方式是采用概率框架，将去噪表述为对信号潜在概率分布的估计。在这种方法中，模型通过优化负对数似然目标函数同时预测信号（均值）及其相关不确定性（方差）[6]。然而，在深度学习模型中实现这一框架仍然具有挑战性。训练网络产生带有不确定性估计的去噪输出通常不稳定，需要精细的优化。因此，尽管理论基础已确立，概率去噪很少应用于光谱数据分析。在本工作中，我们实现了对三维角分辨光电子能谱的这种概率方法。该网络成功训练，能够同时从遵循泊松分布的极度噪声数据中提供去噪信号和逐元素（对于此处考虑的三维数据为逐体素）预测方差。尽管每个体素平均仅有0.02个电子，模型仍能可靠地去噪信号，同时为每个体素提供不确定性估计。我们进一步证明，这些逐体素强度不确定性可以传播到随后的超导能隙分析中，从而能够以具有科学意义的误差棒进行定量参数提取。为了突出我们方法的广泛适用性，我们还将该方法应用于二维X射线衍射数据。这种方法确立了不确定性感知的深度学习作为一个实用框架，能够在不损害科学严谨性的前提下进行物理参数的早期估计。I. 结果为了在三维ARPES数据去噪中实现高性能，我们采用了自编码器去噪架构[11]。该架构在保持网络规模相对紧凑的同时，确保了较大的感受野（有关网络细节，见补充材料的第1节[12]）。这种特性对于三维数据至关重要，否则网络对于典型的图形处理单元来说会变得难以管理。本工作中使用的网络感受野为。这显著大于先前二维ARPES数据去噪研究所用的场[13]。我们注意到，除了感受野之外，本工作与文献[13]的根本区别在于其概率公式：前者仅提供去噪信号的点估计，而后者额外估计相关不确定性，从而实现定量分析。增大的感受野使网络能够提取更广泛的上下文信息，从而能够成功去噪平均体素值低至0.02的极度噪声数据，如下面的测试数据所示。除了去噪信号外，网络还训练生成相应的不确定性图。为实现这种双重输出，我们使用概率损失函数优化网络，具体为拉普拉斯负对数似然：这里，是真实值，是预测的去噪强度，是预测的方差，代表不确定性。与对所有体素施加统一惩罚的标准均方误差或平均绝对误差损失不同，负对数似然根据局部不确定性动态加权预测误差。在强噪声区域，网络可以预测较大的方差（）以减少第一项的惩罚。为了防止网络在任意地方平凡地预测任意大的不确定性，第二项作为正则化项，惩罚不必要的大不确定性。从数学上讲，众所周知，最小化该负对数似然目标函数保证网络输出收敛到潜在数据分布的近似均值和方差[6]。尽管该方法已知有效，但使用负对数似然损失进行训练需要仔细优化，因为它常常导致训练不稳定和/或欠拟合或过拟合[14]。这个问题在三维数据中变得至关重要，因为批量大小受到大数据量的严重限制。为缓解此问题，我们采用了若干稳定化策略。首先，预测输出和真实值在评估损失前都被归一化为单位平均值，即每个三维体积除以其均值。这消除了在光谱测量中无物理意义的全局强度尺度对优化的影响，并抑制了相关的不稳定性。其次，总计数水平作为额外输入通道提供，使网络能够根据计数显式优化其推断。最后，采用相对较强的权重衰减来正则化网络参数，从而稳定训练过程并减少过拟合。我们强调，这些稳定化技术的整合对于实现稳定的网络收敛至关重要，因为使用负对数似然损失训练否则被证明是不稳定的。事实上，训练和验证损失曲线显示稳定收敛，没有过拟合的迹象（见补充材料第1节[12]）。为了评估训练网络的性能，我们使用了掺Pb的（Bi-2212）实验数据。我们注意到，网络在48个开源三维ARPES数据集[15]以及我们测量的8个数据集上进行了训练，而Bi-2212数据作为独立测试集，从训练和验证中排除（详见第III节）。图2(a)–2(d)分别显示了噪声输入、真实值、去噪输出和不确定性输出。噪声数据采集时间为12秒，整个三维体积的平均计数约为每个体素0.02个电子。从统计学角度看，这代表了一种极其稀疏的条件，大约98%的体素完全为空，仅约2%捕获到单个电子事件。在这种极度稀疏的计数水平下，大多数体素未检测到事件，因此网络估计更强烈地依赖于从训练数据中学习到的光谱相关性。从这个意义上说，输出也可以被视为潜在信号的重建。然而，由于相对泊松噪声随着累积计数的减少而持续增加，我们认为该状态是同一去噪问题的极低计数极限。在这种极端噪声水平下，高斯滤波等经典降噪方法完全无效[13]。真实值数据采集时间为5小时。尽管输入噪声极大，网络仍成功去噪了数据，恢复了其主要特征（有关动量分布拟合结果，见补充材料第2节[12]）。这一点通过沿节线（）的动量分布曲线图进一步可视化，如图2(e)–2(g)所示。去噪输出从比真实值短三个数量级的采集时间数据中恢复了平滑光谱，伴随的不确定性图量化了该估计的可靠性。图2. 三维ARPES数据概率去噪的演示。(a) 最佳掺杂Bi-2212的噪声输入数据，采集时间为12秒。(b) 真实值数据，采集时间为5小时。(c) 去噪输出。(d) 表示预测标准差的不确定性图。(e)–(g) 分别在、去噪和真实值数据下的动量分布曲线。面板(f)中的蓝色阴影区域表示标准差（不确定度）。面板(e)中的噪声数据在从角度转换为动量空间后显示；转换中涉及的插值将每个检测到的电子重新分配到相邻网格点上，因此强度以任意单位表示。图2(f)中的蓝色阴影区域表示预测不确定性。总体而言，预测的不确定性与强度成正比，这对于泊松分布来说是自然预期的，因为标准差对于平均值而言为。预测不确定性的统计校准通过归一化残差验证。该分布紧密遵循标准正态分布，输出的区间覆盖了真实值的64.7%，与校准良好的估计器预期的68%标称覆盖率良好一致（详见补充材料第3节[12]）。这种一致性证实了网络没有过度自信的特征，这是使用负对数似然目标训练的概率网络的一个众所周知的问题[14]。值得注意的是，费米能级附近的动量分布曲线尽管光谱权重相对较弱，却表现出最高的不确定性。这种强不确定性可归因于精确定位费米边缘所需信息的固有缺乏。由于费米边缘是光谱强度突然下降的奇异点，在低计数下精确定位该位置高度模糊。这种物理模糊性因此导致网络输出的高预测不确定性。除了预测不确定性之外，我们方法在科学研究中的关键新颖性在于将预测的不确定性传播到后续数值分析中，这使得能够对提取的物理参数进行统计推断，例如假设检验。例如，涉及光谱强度的曲线拟合可以使用以下加权目标函数进行[16]：其中，是去噪强度，是带有一组拟合参数的理论模型，是我们的模型生成的逐体素不确定性。通过将作为统计权重，神经网络输出的不确定性被转移到从光谱中提取的物理参数中。优化参数的协方差矩阵然后可以从的目标函数的海森矩阵导出：第个拟合参数的标准不确定度由相应对角线元素的平方根给出：然而，不确定性估计假设逐体素不确定性在统计上是独立的。实际上，去噪光谱在相邻数据点之间表现出强相关性，因为平滑的去噪输出不能在体素之间独立变化，这导致拟合参数的不确定性被低估。为补偿这一点，必须使用有效自由度对拟合参数的标准不确定度进行调整。有效自由度可以通过计算光谱的自相关来确定相关长度来估计。通过计算积分自相关长度，有效自由度降低为，其中是光谱中的原始体素数。我们注意到，对于不相关数据，而对于相关数据。考虑到这一因素，校正后的协方差矩阵和标准不确定度由...给出。在建立了分析概率输出的框架后，我们现在展示从能量分布曲线（EDC）拟合中获得的超导能隙分析结果。图3显示了Bi-2212数据的超导能隙拟合结果。图3(a)和3(b)分别展示了去噪数据和真实数据在不同动量点上的费米动量处的对称化EDC。我们注意到，去噪数据来自图2所示的同一实验数据，采集时间为12秒。对称化EDC采用唯象模型[17]进行拟合，该模型基于自能...，其中...是超导能隙，...是单粒子散射率。我们注意到，该模型广泛用于从对称化EDC中提取超导能隙[18]。在真实数据中，对称化EDC显示在节点点附近能隙缺失，而在非节点点处能隙打开。虽然去噪数据的EDC在非节点点处吻合良好，但在节点点附近光谱形状略有偏差。图3. 超导能隙分析。(a)、(b) 分别展示了去噪数据和真实数据的对称化能量分布曲线（彩色圆点）以及使用唯象模型（黑色实线）的相应拟合。每条能量分布曲线上的数字表示对应的...值。误差条表示去噪输出的...标准差。(c) 面板(a)和(b)中图的叠加。(d)、(e) 分别展示了去噪数据和真实数据的能量分布曲线。(f) 提取的超导能隙，其中红色和蓝色圆点分别代表来自去噪数据和真实数据的能隙。误差条表示拟合参数的标准差。圆点的颜色对应面板(a)和(b)中显示的EDC。从拟合中提取的能隙大小总结在图3(f)中。由于样品沿节点方向排列，我们使用...作为...轴，预期...波超导能隙将表现出线性依赖。如预期，真实数据表现出这种线性行为。令人惊讶的是，仅采集12秒的去噪数据大致遵循真实数据，除了在节点区域附近，模型倾向于高估能隙大小。传播的不确定性使得能够定量评估这种差异。拟合的节点能隙为...。虽然其...区间不包括零，但95%置信区间（大约...）包括零，因此零假设（...）在标准95%置信水平下不能被拒绝。因此，表观节点能隙在统计上不显著。这说明了不确定性感知去噪的实际价值，因为天真的点估计会报告一个与真实能隙无法区分的虚假能隙，而传播的不确定性正确地将节点值识别为统计上与零一致。节点点附近的这种差异表明，有限信息的影响在节点区域最为显著，尽管其光谱权重很高。虽然节点点具有尖锐而强烈的费米边缘，但这一特征使得能隙提取极易受到预测费米能级精度的影响。在短采集时间缺乏足够信息的情况下，费米能级的微小不确定性会在对称化过程中显著扭曲尖锐的光谱轮廓，表现为虚假的能隙打开。反过来，在噪声条件下，节点区域对模型来说变得高度模糊。这一解释也得到了节点点附近预测的高不确定性的进一步支持。为了验证训练网络的通用性，我们将其应用于来自...薄膜的额外ARPES数据，在那里它实现了相当的去噪性能（见补充材料[12]第4节）。为了证明我们的方法在光谱学之外具有广泛适用性，我们将该方法应用于二维XRD数据，因为XRD是科学中广泛使用的技术[19]。对于这一演示，我们采用了来自开源仓库[20–22]的数据和源代码。使用这些，网络独立于ARPES数据单独训练。基于原始代码，我们稍微修改了网络架构以生成双输出，通过将输出通道改为两个并采用拉普拉斯NLL作为损失函数。图4(a)–4(c)中显示的XRD图像表明，修改后的网络有效地从原始数据中去除噪声。图4. XRD数据分析。(a)–(c) 分别展示了噪声、去噪和真实的XRD数据。黄色虚线框表示用于峰值拟合分析的感兴趣区域。(d)–(f) 从面板(a)–(c)沿...轴提取的线谱。不同颜色表示不同的...像素值。面板(e)中的误差条表示去噪输出的...标准差。(g)、(h) 分别展示了峰值位置和峰值半高全宽的拟合结果。圆点的颜色对应面板(e)和(f)中显示的线谱。面板(g)和(h)中的误差条表示拟合参数的...标准差。在定性确认噪声减少后，我们提取了线谱[图4(d)–4(f)]进行定量评估。与之前的分析类似，我们对这些提取的轮廓进行了单高斯峰值拟合，以确定峰值位置[图4(g)]和峰值宽度[图4(h)]，使用前述的不确定性传播方法。从去噪数据中提取的峰值位置和宽度与真实数据一致，误差条成功传播。这一成功演示证实了我们的方法具有高度通用性，证明了其在不同科学测量中的适用性，无论实验技术或数据维度如何。II. 讨论从信息论的角度来看，总计数为...的光谱中包含的总费舍尔信息与...成正比，假设每个计数代表一个独立的检测事件[23]。我们注意到，这种独立性是计数事件本身的属性，与上述去噪输出的相关性不同，后者反映了底层光谱的平滑度。根据克拉美-罗下界，任何无偏估计量的方差不能低于总费舍尔信息的倒数：...，其中...是参数...的总费舍尔信息，...是单个电子计数的费舍尔信息[24]。因此，不确定度（标准差）的基本下界按...缩放。图5显示了平均归一化不确定度作为...的函数。它显示出与...的明显线性依赖，表明训练的网络以接近最优的效率提取信息。换句话说，概率去噪器在计数统计所施加的基本信息极限附近运行。图5. 不确定度作为总计数...函数的缩放。每个数据点从真实数据中随机采样以获得目标总计数。这种缩放突出了一个重要的实验意义。由于不确定度按...缩放，精度的边际收益随着采集时间的增加而迅速减少。也就是说，大部分统计上有用的信息是在测量的早期阶段获得的。在实际的光谱实验中，这意味着将测量时间远远延长到初始采集之后，只会带来统计精度上的边际收益，并且通常主要是为了获得视觉上更平滑的光谱。相反，更有效的策略是将短采集测量与去噪相结合，允许可靠提取底层光谱特征，同时量化不确定度。在这个意义上，概率去噪使深度学习不仅作为可视化工具，而且作为从噪声实验数据中提取物理信息的定量可靠方法。通过这样做，数据采集所需的时间可以大大缩短，这一直是光谱实验中的根本瓶颈。此外，我们的方法不限于这里展示的演示。虽然我们专注于ARPES和XRD，但这种概率去噪策略广泛适用于任何采集时间是关键瓶颈的多维测量。我们注意到，该方法可以扩展到更高维度的数据，在这些数据中，一旦正确训练，预期更多的上下文信息将带来更好的去噪性能。基于最近将机器学习与科学数据分析相结合的努力[13,20,25–36]，我们的框架提供了一个关键进展：它建立了一条严格的路径，用于部署深度学习不仅作为可视化辅助工具，而且作为物理分析的定量工具。代码和训练好的ARPES网络公开可用，既为了确保可重复性，也为了允许直接应用于三维ARPES数据。III. 方法网络架构与训练。训练数据集由56个高计数三维ARPES数据组成，随机分为51个用于训练和5个用于验证。部分数据集来自开源数据仓库[15,27]。数据被调整到...网格，使用和守恒的调整方法，并通过沿...和...轴的翻转和旋转进行八倍增强。在训练期间，噪声输入从高计数数据中实时生成。每个体素的平均计数范围从0.005到0.1，呈对数分布。我们注意到，尽管数据集数量不多，但每个都是完整的三维体积：训练目标总计...个体素，远远超过网络中可训练参数的总数（...）。结合ARPES光谱有限的特性多样性和上述增强策略，该数据集被证明足以用于训练，这通过验证损失紧密跟随训练损失而没有过拟合迹象得到确认（见补充材料[12]第1节）。在每个卷积层之后，数据被输入到组归一化层和sigmoid线性单元激活函数。我们使用AdamW[37]优化网络，具有相对较高的权重衰减...以防止过拟合。学习率遵循余弦衰减调度，峰值值为...，之前有预热阶段，在前五个epoch中学习率从零线性增加到峰值。由于GPU内存（VRAM）限制，批量大小限制为1。网络使用NVIDIA RTX 2060和PyTorch框架训练。ARPES实验。对于图2和3中显示的演示数据，使用首尔国立大学的实验室系统进行了基于激光的ARPES测量。使用自制掺镱光纤激光器，中心波长为1064 nm，脉冲宽度为50 ps，重复频率为1.5 MHz，用于生成7 eV（177 nm）的光。使用Scienta ARTOF 10k电子分析仪采集光谱，使用...偏振光。能量分辨率设置为优于2 meV。