分段式(Piecewise)与局部化(Localized)散射校正方法的解析——以标准正态变量变换(Standard Normal Variate, SNV)与乘性散射校正(Multiplicative Scatter Correction, MSC)为例

《Journal of Chemometrics》：Demystifying Piecewise and Localized Scatter Correction Methods

　　

乘性散射噪声(Multiplicative Scatter Noise)是近红外(Near-Infrared, NIR)光谱及其他相关仪器技术中常见的噪声来源。目前已有多种方法用于校正乘性散射，但大多数方法假设描述散射的参数在整个测量光谱范围内为常数，而这往往不符合实际情况。本研究探讨了一类利用邻近波长局部区域进行散射校正的方法家族，以更好地考虑波长依赖的散射行为。所研究的方法包括分段标准正态变量变换(Piecewise Standard Normal Variate, PSNV)、局部化标准正态变量变换(Localized Standard Normal Variate, LSNV)、分段乘性散射校正(Piecewise Multiplicative Scatter Correction, PMSC，亦称Piecewise MSC)及局部化乘性散射校正(Localized Multiplicative Scatter Correction, LMSC，亦称Localized MSC)。本研究阐述了基于局部区域的散射校正方法家族的理论与算法基础，并通过多个数据集从定性与定量层面比较其应用与参数优化效果。

论文解读：《Demystifying Piecewise and Localized Scatter Correction Methods》发表于Journal of Chemometrics

一、研究背景与立题依据

在近红外(Near-Infrared, NIR)光谱分析中，混浊介质（如粉末、浓缩溶液、胶体）产生的光子多重散射会形成乘性散射噪声(Multiplicative Scatter Noise)，表现为光谱的整体乘性缩放与基线偏移。传统的全光谱乘性散射校正(Multiplicative Scatter Correction, MSC)与标准正态变量变换(Standard Normal Variate, SNV)假定散射系数在全波段恒定，但实际光散射行为具有波长依赖性(Wavelength-Dependent)，尤其在宽光谱范围（如UV-Vis-NIR联用）或特定样品中，全局校正会导致某些波段过校正或欠校正。为此，研究人员提出并系统解析了基于局部波段的区域散射校正方法家族——分段(Piecewise)与局部化(Localized)形式的SNV和MSC（即PSNV、LSNV、PMSC、LMSC），旨在更精确地消除波长依存的散射效应，并比较其算法效率、光谱可解释性及定量预测性能。

二、主要关键技术方法

研究人员首先推导了四种区域散射校正方法的数学模型：PMSC采用滑动窗口对各中心波长基于参考光谱回归求取局部a（截距）、b（斜率）参数并仅校正中心列(Corrected Center Column, CCC)；LMSC将光谱划分为若干互不重叠的连续段分别做MSC；PSNV在滑动窗口内计算局部均值与标准差进行SNV变换；LSNV在各分段内独立进行SNV。为提高计算效率，研究人员实现了基于滚动平均(Rolling Mean)与滚动标准差的向量化移动PSNV(Moving PSNV, MPSNV)及基于移动内积的Moving PMSC(MPMSC)，并编写R(Rcpp)与MATLAB代码。研究采用四个实证数据集进行验证：Marzipan数据集（32样本，NIR反射，测水分与糖）、Tecator肉品数据集（193样本，Transmission模式，测脂肪）、Tablet数据集（310片Escitalopram药片，FT-NIR透射，测活性药物成分Active Pharmaceutical Ingredient, API含量）、PuO₂微粒VIS-NIR漫反射数据集（421光谱，按煅烧温度分类）；另生成1000×1000模拟数据集测试计算耗时。预处理后以偏最小二乘(Partial Least Squares, PLS)回归结合交叉验证(RMSECV)优选窗口参数，并与原始光谱及全光谱SNV/MSC对比。

三、研究结果

4.1 Computational Times（计算时间）

研究人员在1000样本×1000通道模拟数据上对比各算法耗时。结果显示：LSNV与LMSC仅略慢于全光谱SNV/MSC；简单循环版PSNV与PMSC极慢，而采用滚动函数加速的MPSNV较简单PSNV在R与MATLAB中分别提速约36倍与26倍；PMSC采用CCC结合C++封装或MPMSC亦显著提速（R中CCC/C++版较简单PMSC快约6倍）。表明经优化的Piecewise方法可达到实用计算效率。

4.2 Marzipan（杏仁膏数据集结果）

对水分与糖含量预测，四种区域散射校正均较原始光谱及全光谱SNV/MSC大幅降低RMSECV（水分最优LSNV与PSNV达≈0.40，糖最优PMSC）。视觉上PSNV与PMSC消除了全光谱SNV残留的基线漂移，LSNV在分段边界处有跳跃不连续但预测佳，LMSC较平滑但仍存边界效应。说明区域方法可有效捕捉本数据集中波长依存的散射变化。

4.3 Tecator（肉品数据集结果）

PSNV(w=21通道)与LSNV(k=5段)得最低脂肪预测RMSEP（0.92与1.15），优于全光谱SNV(1.94)与MSC(2.24)。窗口过小致平坦区伪峰放大；分段法(LSNV/LMSC)在分段边界有谱形扭曲。PSNV随窗口增大从过矫至欠矫呈U形RMSECV曲线，便于可视化选参。证实Piecewise与Localized方法在强基线偏移数据中提升定量性能，但需注意极小窗口引入的伪影。

4.4 Tablet（药片数据集结果）

区域散射校正均改善API含量预测RMSECV/RMSEP，较RAW与全光谱SNV/MSC降低所需潜变量数(2~3 vs 4~6)。PSNV与PMSC较好保留8800 cm^-1附近API特征峰且减少"信号涂抹(Smearing Effect)"，LSNV/LMSC致分段边界畸变。RMSECV随窗口呈平滑U形（Piecewise）或多极小振荡形（Localized）。表明区域方法可减少全光谱SNV引起的化学信号跨波段扩散。

4.5 Plutonium (IV) Oxide（二氧化钚数据集结果）

PSNV(w=51 nm)在550~1000 nm有效提取煅烧温度相关化学信号并分离类别，低信噪比350~500 nm区残噪不可避免；PMSC在相同窗口产生近伪等吸收点(Pseudo-isosbestic Point)处的异常尖峰；LSNV(k=6段)可部分分群但谱形严重失真，LMSC易出离群值。说明PSNV对化学组成差异大或含多类的样品较PMSC稳健，后者会将参考光谱不匹配的样本放大为离群。

四、讨论与结论总结（翻译结论部分）

研究人员得出以下结论：LSNV与LMSC在分段数较少时计算很快，算法优化需求低；而PSNV与PMSC经滚动统计与去冗余计算优化后可达相当速度。LSNV与LMSC通过将光谱分为均匀散射的连续块起作用，但分段边界选取不当会引入谱形跳变与人为分割，且分段数变动引起边界剧变使参数优选复杂；优化良好的LSNV/LMSC在某些先验波段已知时可能优于Piecewise方法。PSNV与PMSC因窗口重叠使校正量随波长渐变，保持校正后光谱连续平滑，便于将修正后特征关联至真实吸收带及化学含义，后续PCA或PLS载荷具物理可解释性，此为优于Localized方法之处。PSNV与PMSC定性相似，但当样本与参考光谱差异大时PMSC易产生离群（利于过程监控报警），PSNV则通常仍可正常校正（适合组成差异大多类别数据如PuO₂）。综上，区域散射校正方法（PSNV、LSNV、PMSC、LMSC）能有效处理波长依存乘性散射，经高效实现可用于实际NIR光谱预处理，其中Piecewise类方法在光谱可解释性上具优势，Localized类若恰当分段亦可获优预测力，选择应依据数据特性与是否需要检测异常样本而定。