对比传递函数有助于量化HRTEM中神经网络分布外泛化

《Microscopy and Microanalysis》：Contrast Transfer Functions Help Quantify Neural Network Out-Of-Distribution Generalization in HRTEM

　　

神经网络虽然有效处理许多具有挑战性的科学任务，但已知在分布外（OOD）表现不佳，即在与训练数据不同的领域内。理解神经网络OOD泛化对于其在实验工作流程中的成功部署至关重要，尤其是当实验的真实知识难以确定或实验条件显著变化时。通过固有访问真实信息和对底层分布的精细控制，基于模拟的数据策展促进了OOD泛化行为的精确研究。在此，研究人员针对纳米颗粒的高分辨率透射电子显微镜（HRTEM）成像的神经网络分割模型的成像条件探测泛化，使用通过随机结构采样和多切片模拟生成的合成数据训练和测量超过12,000个神经网络的OOD泛化。利用HRTEM对比传递函数，研究人员进一步开发了一个框架来比较HRTEM数据集的信息内容并量化OOD领域偏移。研究人员证明，神经网络分割模型具有显著的性能稳定性，但随着成像条件从训练分布偏移，性能会平滑且可预测地恶化。最后，研究人员考虑了该方法在解释其他OOD偏移（如原子结构）方面的局限性，并讨论了在这种情况下理解泛化的补充技术。

**论文解读文章**

**研究背景与问题**
神经网络在实验显微镜工作流中日益普及，但它们在分布外（OOD）数据上的泛化能力仍不明确。OOD泛化指模型在与训练数据分布不同的数据上的表现，其理解对于部署至关重要，尤其在实验条件变化或真实标签难以获取时。当前，OOD泛化的研究多依赖经验证据和基准测试，缺乏理论框架来预测模型在何种场景下会失败。在透射电子显微镜（TEM）中，成像条件（如散焦、像散）的微小变化会显著改变图像纹理，影响神经网络分割性能。然而，精确测量和校准这些条件在实验中困难重重。因此，需要一种基于物理的、可量化的方法来理解OOD泛化行为。对比传递函数（CTF）作为描述信息从样品传递到图像的理论工具，为从信息论视角分析OOD行为提供了自然基础。

**研究内容与结论**
研究人员利用合成数据（通过随机结构采样和多切片模拟生成超过12,000个HRTEM图像）训练U-Net分割模型，系统研究了成像条件变化对OOD泛化的影响。主要结论包括：神经网络在成像条件偏移时表现出稳定但可预测的性能下降；通过CTF导出的两个度量（信息传递效率?和信息传递重叠σ）可以量化OOD域偏移，并预测模型性能变化。这项工作发表在《Microscopy and Microanalysis》。

**主要关键技术方法**
研究人员使用Construction Zone软件包生成CdSe纳米颗粒（半径1–2.5 nm）在非晶碳基底上的结构，并进行多切片模拟（Kirkland势参数化，8个冻结声子，0.1 ?采样，2 ?切片厚度）。通过随机采样像差系数（包括散焦C₂₀、二重像散C₂₂、轴向彗差C₃₁、三重像散C₃₃、球差C₄₀等）生成不同成像条件的图像。训练U-Net（ResNet骨干，约1400万参数）进行像素级语义分割，使用交叉熵损失函数和随机梯度下降优化。基于CTF设计两个度量：?(χ) = ∫|T(q)|²dq / ∫|E(q)|²dq（衡量信息传递效率），σ(χ,χ′) = ∫|T(q)||T′(q)|dq / ∫|T(q)|²dq（衡量信息传递重叠）。样本队列来源为合成生成的CdSe纳米颗粒图像。

**研究结果**

**分割网络训练与跨散焦泛化动力学**
研究人员训练了3,520个模型，覆盖11个固定散焦条件（?25至+25 nm，步长5 nm）。结果显示，OOD性能与分布内性能相关，但通常略差。0 nm散焦数据集最难训练（收敛慢、最终损失高），但模型在此条件下的OOD泛化最好，甚至优于分布内性能。正散焦（如+10 nm）训练易导致过拟合，表现为后期训练损失升高和方差增大。超参数（学习率、批大小）影响训练动力学，但不改变绝对性能趋势。模型在相似散焦幅值但符号相反的数据上性能接近，表明对对比反转效应具有一定鲁棒性。

**利用对比传递函数表征OOD泛化**
研究人员进一步训练了4,096个模型，使用随机采样的像差条件（最高至五阶像差），并保存通过损失阈值0.1和0.05的模型权重。最终对3,089个模型和72,864个测试数据集对进行分析。结果发现，模型OOD损失随Δ?(χ,χ′)（信息量差异）和σ(χ,χ′)（信息重叠）平滑变化。当σ接近1且Δ?较小时，OOD性能接近分布内性能；当Δ?为正且较大时，模型甚至可在OOD数据上表现更好；当Δ?为负且较大或σ较小时，OOD性能显著下降。存在一个稳定区域（高重叠和正Δ?），模型在此区域内OOD表现稳定。通过贝叶斯自适应样条曲面，研究人员进一步量化了损失表面的预测能力。

**讨论与结论**
讨论部分指出，该框架可解释HRTEM分割任务中成像条件偏移导致的OOD行为，但存在局限性。首先，它仅考虑像差和色差引起的高频阻尼，未纳入探测器效应（如调制传递函数）或更完整的包络函数（如部分相干性、样品漂移）。其次，对于原子结构分布偏移，该方法无法有效预测OOD性能：即使在引入由结构因子导出的光谱权重后，结果仍不理想，表明结构偏移的复杂性远超成像条件偏移。此外，研究人员探讨了基于模型Hessian矩阵的曲率信息和Kullback-Leibler散度作为补充方法，但发现KL散度与性能变化的相关性较弱，而Hessian特征谱的演化可能有助于预测OOD行为。

结论部分翻译如下：
总结而言，研究结果表明，用于HRTEM分析的神经网络在成像条件偏移下具有有意义且稳定的OOD泛化行为。通过数据中心的视角和领域特定的信息论模型，研究人员可以预测模型在实验环境中可能开始失效的场景，并理解如何有效设计训练工作流以避免此类失效。然而，在完全描述数据分布水平方面仍存在显著挑战，尤其是原子结构方面，这可能成为理解材料表征任务中OOD泛化现象的主要障碍。尽管如此，研究人员认为，保持关注信息如何在实验数据中产生以及机器学习模型如何利用这些信息，对于完善对机器学习工具的理解和在应用科学环境中的使用至关重要。