《Chinese Journal of Chemical Engineering》：Data-driven Kubelka–Munk-based scattering correction and calibration transfer for coal near-infrared analysis
编辑推荐：
``•提出了一种基于Kubelka-Munk理论的散射校正方法（KMSC），用于煤炭的近红外（NIR）分析。•数据驱动的自适应属性验证（APV）算法用于选择最佳的特征散射波长。•KMSC能有效减轻由颗粒大小和形态引起的散射干扰。•KMSC方法扩展到跨颗粒大小的校准转移，并具有更好
``
- •
提出了一种基于Kubelka-Munk理论的散射校正方法（KMSC），用于煤炭的近红外（NIR）分析。
- •
数据驱动的自适应属性验证（APV）算法用于选择最佳的特征散射波长。
- •
KMSC能有效减轻由颗粒大小和形态引起的散射干扰。
- •
KMSC方法扩展到跨颗粒大小的校准转移，并具有更好的性能。
- •
该方法减少了对严格实验室研磨的依赖，适用于在线煤炭分析。
引言
煤炭仍然是全球能源系统的关键组成部分，其利用效率直接影响发电、煤炭制备和煤炭化工行业的运营性能和环境影响[1]。因此，准确测定煤炭质量指标（如近似分析参数和热值）非常重要[2]。由于标准的化学分析方法繁琐且耗时，近红外光谱（NIRS）已被广泛采纳作为一种快速、无损且无污染的替代方法。然而，在固体样品的漫反射测量中，获得的光谱信号是化学吸收和物理散射的复杂叠加。主要受到颗粒大小和表面粗糙度影响的物理因素会非线性地扭曲光谱反射特性，从而影响定量分析的准确性[3],[4],[5]。
机械精细研磨可以均匀样品并提高模型准确性[6],[7],[8]，但增加的劳动和时间成本使其不适用于快速在线或原位应用。因此，数学预处理算法成为校正颗粒大小引起的光谱变化的主流解决方案。经典技术包括标准正态变量（SNV）[9]、乘法散射校正（MSC）[10]和Savitzky-Golay导数（SGD）[11]，随后还提出了高级变体，如扩展乘法信号校正（EMSC）[12]、分段MSC（PMSC）[13]、分数阶S-G导数[14]和连续移动窗口SNV（CMW-SNV）[15]。然而，对土壤、生物质和煤炭的广泛研究[16],[17],[18],[19]表明，这些基于数学的方法在遇到宽泛或非均匀的颗粒大小分布时，性能往往下降。虽然基于硬件的替代方案（结合显微成像或机器视觉[20],[21],[22],[23]）有效，但会牺牲NIRS固有的简单性和低成本优势。
至关重要的是，传统数学预处理的通用性有限，因为它过于简化了非线性散射效应。传统预处理方法通常依赖贝尔-朗伯定律（Beer-Lambert Law）的经验假设将漫反射转换为伪吸收。然而，该定律仅严格适用于均匀透明介质的透射光谱。对于像煤炭这样的致密、高吸收和强散射的黑色固体基质，宏观物理干扰破坏了吸收与浓度之间的线性关系。Kubelka-Munk（K-M）理论为描述散射和吸收介质中的漫反射提供了更基于物理的替代方案[24]，在农产品评估[25]、土壤有机质反演[26]和种子组织光谱分离[27]中显示出明显优势。然而，将其直接应用于煤炭时，K-M函数中吸收系数和散射系数之间的强耦合使得应用变得复杂。对于给定的颗粒大小分数，散射系数的波长依赖性通常用幂律关系描述[28],[29],[30]；尽管如此，对苯乙酸（phenacetin）[31]和玄参根（Radix Scrophulariae）[32]的研究表明，在NIR范围内该系数大致保持恒定。此外，本研究中进行的敏感性分析显示，将幂律指数从0变化到4对模型性能的影响可以忽略不计。这些经验证据证明了对于给定颗粒大小分数内的单个样品，假设散射系数恒定是合理的，这是本文提出的单因素校正策略的基本前提。值得注意的是，以往将K-M理论应用于煤炭[33]时忽略了明确的散射校正，导致在宽颗粒大小分布下的准确度不够理想。
鉴于这些理论考虑，本文提出了一种基于K-M理论的散射校正框架。首先将原始漫反射光谱转换为K-M函数。然后使用自适应属性验证（APV）方法识别特征散射波长（CSW），即散射占主导的波长。K-M函数在CSW处的值作为散射校正因子（SCF），用于表示每个样品的散射强度。在散射系数恒定的假设下，用SCF除以全频段K-M函数可以有效地减轻散射贡献，从而得到主要反映吸收的光谱。APV算法搜索整个光谱范围，选择在验证集上预测精度最高的波长。这种数据驱动的策略确保选定的CSW在统计上最适合捕捉散射变化。这些程序称为基于K-M的散射校正（KMSC）。如有需要，可以通过SGD进一步处理KMSC光谱以抑制背景噪声并增强光谱特征。
我们还展示了KMSC可以扩展到跨颗粒大小的校准转移：源光谱和目标光谱分别使用各自的CSW通过KMSC进行处理，该CSW通过在目标验证集上选择得出。然后应用适当的回归方法（如GPR[18],[34]）对目标进行分析。与主流的转移方法PDS[35],[36]和领域适应技术TCA[37],[38]的比较表明，KMSC具有竞争性能。
主要贡献总结如下：
- •
开发了KMSC预处理策略：提出了一种基于K-M的散射校正策略，利用数据优化的SCF有效减轻散射干扰。与传统预处理技术相比，该方法在包含不同颗粒大小和表面条件的11个数据集中普遍提高了预测精度，范围从超细煤粉到粗煤粉以及原位粗糙/光滑的煤表面。
- •
扩展到跨颗粒大小的校准转移：KMSC框架成功应用于跨颗粒大小的模型转移任务。与传统依赖全谱数学映射和配对转移样本的技术不同，这种方法通过每个样本只需要一个最优SCF来简化标准化过程，提供了更强大的替代方案。
- •
减少对标准化精细研磨的依赖：通过适应性补偿物理散射干扰，所提出的方法显著降低了对严格实验室研磨标准的依赖。这降低了样品制备成本，为快速的在线工业煤炭质量监测提供了实际可行性。
本文的其余部分组织如下。第2节描述了所提出的方法，包括KMSC散射校正框架（第2.1节）、跨颗粒大小的校准转移策略（第2.2节）、定量建模方法（第2.3节）以及比较预处理和转移方法（第2.4节比较预处理方法，2.5节比较校准转移方法）。第3节介绍了实验设置和结果分析与讨论，涵盖了使用的数据集（第3.1节）、KMSC方法在11个颗粒大小公共数据集和内部0.2毫米数据集上的评估（第3.2节），以及跨颗粒大小的校准转移性能，包括一个代表性案例研究和完整的交叉验证结果（第3.3节）。最后，第4节总结了研究发现并对未来工作进行了展望。
章节摘录
多颗粒大小散射校正（KMSC）
KMSC的核心思想是将原始漫反射光谱转换为K-M函数，其中APV方法识别CSW，相应的K-M值（SCF）用于校准全光谱，从而减轻散射干扰。APV算法根据验证集的准确性自适应地为每个颗粒大小分数选择最优CSW，使KMSC能够适应从超细粉末到粗颗粒以及原位粗糙/光滑的各种物理形态。
数据集
所提出的方法主要使用一个公共的多颗粒大小数据集[39]进行验证。然而，该数据集每个颗粒大小分数只包含12个样本，且属性差异很大，不适合严格划分为训练集、验证集和测试集。因此，使用两个指标评估散射校正方法的性能：校准的受控RMSE（RMSEC），该指标是根据固定潜变量（LVs）数量的PLS模型计算的
结论
本研究提出了一种基于Kubelka–Munk理论的散射校正（KMSC）框架，用于解决多颗粒大小NIR煤炭分析中的物理散射干扰问题。通过结合物理光学和数据驱动的APV算法，KMSC识别出最优CSW，并使用单个SCF校准全光谱。结合SGD2和SS，该框架在11个颗粒大小和表面条件数据集上的性能通常优于传统预处理方法
CRediT作者贡献声明
王英：撰写 - 原稿编写、可视化、方法论、调查、概念化。王梦志：撰写 - 审阅与编辑、监督、项目管理、资金获取。陆毅：撰写 - 原稿编写、验证、数据管理。耿志强：撰写 - 审阅与编辑、监督、项目管理、资金获取、概念化
利益声明
? 作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。
致谢
本研究得到了中国国家重点研发计划（2024YFB4105202）的支持。
王英|陆毅|王梦志|耿志强
```
