当光谱库过于复杂而难以搜索时：用于领域适应性校准的进化子集选择方法

《Analytica Chimica Acta》：When spectral libraries are too complex to search: Evolutionary subset selection for domain-adaptive calibration

　　莱昂纳多·拉米雷斯-洛佩兹（Leonardo Ramirez-Lopez）| 拉斐尔·维斯卡拉·罗塞尔（Raphael Viscarra Rossel）| 克劳迪奥·奥雷亚诺（Claudio Orellano）| 劳伦斯·库伊曼（Laurens Kooijman）| 埃斯特法尼娅·佩雷斯-费尔南德斯（Estefania Perez-Fernandez）| 亚历山大·M.J.-C·瓦杜（Alexandre M.J.-C. Wadoux）| 马卡尔·普兰斯（Marcal Plans）| 蒂莫·布雷尔（Timo Breure）| 劳拉·萨默尔豪尔（Laura Summerauer）| 约瑟·L·萨法内利（José L. Safanelli）| 托尔斯滕·贝伦斯（Thorsten Behrens）| 里卡德·博克（Ricard Boqué）

伦敦帝国学院，帝国学院商学院，南肯辛顿校区，伦敦，SW7 2AZ，英国

摘要：
背景：大型光谱库的日益丰富为开发基于光谱的传感技术提供了新的机会，这些技术可以快速且无损地估算环境和农业矩阵的关键属性。这些库可以为开发针对特定目标领域的模型提供训练样本。然而，确定哪些样本对给定目标领域最相关仍然是一个挑战。本研究介绍了一种名为gesearch的非线性进化算法，用于从复杂的光谱库中选择与目标领域相关的训练样本，以构建准确且可解释的定量模型。

结果：使用gesearch方法从北美的大型红外土壤光谱库中提取了一组相关样本，用于构建刚果民主共和国一个独立目标区域的总碳预测模型。在这个具有挑战性的跨领域测试案例中，用gesearch找到的训练样本构建的简单线性模型比已建立的建模方法（包括LOCAL、Cubist、卷积神经网络和全局偏最小二乘回归）具有更高的准确性。

意义：所提出的方法为在仅有有限目标领域参考数据的情况下利用大型异构光谱库提供了实用框架。通过选择与目标领域在光谱和成分上一致的样本，gesearch支持构建准确、紧凑且可解释的校准模型。即使只有未标记的目标领域光谱可用，该方法也能发挥作用。

引言：
环境和农业资源的可持续管理越来越依赖于快速、低成本的方法来评估其化学和物理属性。漫反射光谱学（DRS）已成为快速、无损和可扩展地评估土壤等复杂矩阵多重属性的可行方法[1]、[2]。DRS通过分析电磁辐射与物质之间的相互作用来工作，定量预测通常是通过将光谱测量结果与实验室参考数据联系起来的经验校准模型获得的[3]。因此，对于复杂矩阵的定量分析，DRS技术（如近红外和红外光谱学）通常被视为次要分析方法，因为它们依赖于参考测量进行校准。在DRS应用中，一个持续的挑战是为特定目标群体开发合适的训练集。在这些群体中，DRS特征与响应之间的关系往往是近似线性的，尽管这些关系可能因群体而异[4]。在这种情况下，可以通过收集充分代表目标群体的训练集来捕捉这些关系，并因此相对容易地构建在该领域表现良好的线性模型。相比之下，当可用的训练样本数量有限时，模型的泛化能力会受到严重限制[5]。在这种情况下，通常通过利用大型和多样化的现有DRS光谱库来构建预测模型。然而，由于光谱库的固有异质性，并非所有样本都对给定目标群体具有信息价值（即某些样本可能无关紧要、噪声较大或具有误导性，从而导致预测性能下降）。因此，在所有可用库样本上训练的通用模型不一定能在特定目标领域保证最佳准确性[6]。在这方面，Viscarra Rossel等人[7]强调了迁移学习策略在解决目标领域建模中的域不匹配和数据稀缺问题中的关键作用。在这个框架内，库搜索和光谱定位方法可以被视为基于实例的、同质的迁移学习方法，通过选择性利用源领域样本来缓解域不匹配问题。与其将全局模型适应多个目标领域，不如直接从全面且异构的光谱库中构建特定于领域的模型。库搜索和光谱定位方法通过识别和利用与给定目标群体最相关库样本来实施这一策略，从而实现无需显式模型适配的目标建模。化学计量学中使用的大多数库搜索和光谱定位方法（例如[8]、[9]、[10]、[11]、[12]）主要依赖于光谱相似性指标。然而，仅凭光谱相似性并不一定能反映潜在的光谱-响应关系的相似性，特别是在域偏移的情况下，源群体和目标群体之间的边际和条件分布可能存在显著差异[4]。为了克服基于纯确定性相似性的检索的一些局限性，Lobsey等人[4]引入了rs-local算法（针对特定地点校准的重采样策略），将库搜索视为一个随机优化问题。rs-local不是仅基于光谱邻近性选择样本，而是迭代地识别能够最小化小型标记目标集上预测误差的库样本子集。这种数据驱动的策略在某些情况下被证明相对于基于相似性的方法能够提供更好的预测性能，即使应用于大型和异构的光谱库[13]。这些结果表明，在某些条件下，样本的预测相关性不能完全由光谱相似性来解释。因此，rs-local代表了在数据稀缺的情况下基于实例的库搜索用于目标领域建模的一项重要进展。

尽管rs-local展示了其有效性，但其采用的优化策略主要基于有限标记目标集上的预测误差。虽然这个目标与提高目标领域准确性是一致的，但它没有明确考虑所选样本相对于目标群体更广泛光谱变异性的代表性。特别是对于像偏最小二乘回归这样的变量投影方法，确保投影光谱保持目标领域预期的光谱方差结构至关重要。仅为了最小化预测误差而选择的子集可能无法正确表示这种方差，从而导致潜在空间的扭曲，最终导致模型不稳定。此外，rs-local没有明确的机制来控制过拟合，并且需要目标集中的响应测量数据，这可能成本较高[4]。综上所述，基于实例的迁移学习将从超越纯基于误差选择的优化策略中受益，这些策略明确地在预测性能与保持目标领域光谱结构之间取得平衡，同时减少对标记目标数据的依赖。在这方面，本文介绍了gesearch（遗传进化搜索），它在基于实例的迁移学习框架内实现了进化优化。gesearch采用以基因为中心的优化策略，根据个别库样本对减少边际和条件分布不匹配的贡献来评估它们，从而实现有针对性的建模，而不需要进行显式的模型调整。因此，gesearch解决了rs-local的关键局限性，包括缺乏对目标领域光谱变异性的显式保留以及对目标集中响应测量的依赖。所提出的框架放宽了对目标领域参考值的要求，同时提供了一种系统的方法来利用大型、异构的光谱库来提高目标领域的预测性能。

本研究的主要目标是：(i) 在进化搜索框架内通过以基因为中心的样本选择重新定义基于实例的库搜索；(ii) 开发一种样本选择策略，明确平衡预测性能与保持目标领域光谱结构；(iii) 评估gesearch相对于rs-local和其他常用DRS方法的预测准确性和数据效率。

理论：
这里介绍的方法旨在利用大型、多样的光谱库，为数据有限的目标领域生成准确的DRS预测模型。用?Du?(Xu,yu)={(xui,yui)}i=1m表示感兴趣的群体目标集（其中下标u表示部分“未知”的目标领域），包含m个配对观测值(xui,yui)。这里，xui∈Rd表示在d个波长或波数（d维特征向量）下测量的样本i的光谱。

方法论：
为了测试gesearch的性能，我们在来自美国的现有大型异构红外（IR）土壤光谱库和位于刚果民主共和国Tshuapa省的现有目标集上进行了实验。目标是为目标集获得简单的、准确的总碳（TC）模型。IR测量和TC的常规实验室分析是针对源数据和目标数据集单独进行的（不同的）。

通过进化搜索优化子集选择：
在最佳超参数下，gesearch在100次实现中经过16-22代迭代。第1代评估了26156个候选个体。此后，由于弱基因/样本被分位数阈值（α）淘汰，样本池迅速缩小。每代大约评估105个个体，提供了广泛的基因组合采样，从而广泛探索光谱库以识别具有预测性和描述性的样本。

结论：
本研究介绍了gesearch算法，该算法旨在在目标领域数据稀缺时利用光谱库。在一个涉及北美光谱库和刚果目标样本的具有挑战性的跨大陆设置中，当有少量标记的目标领域样本可供调整时，gesearch获得了最佳的整体预测性能；即使没有目标领域参考值可用时，它仍然保持了一定的竞争力（表2）。

作者贡献声明：
莱昂纳多·拉米雷斯-洛佩兹（Leonardo Ramirez-Lopez）：写作——原始草稿、可视化、验证、软件、项目管理、方法论、调查、正式分析、数据策划、概念化。
拉斐尔·维斯卡拉·罗塞尔（Raphael Viscarra Rossel）：写作——审稿与编辑、软件、概念化。
克劳迪奥·奥雷亚诺（Claudio Orellano）：写作——审稿与编辑、验证、软件、概念化。
劳伦斯·库伊曼（Laurens Kooijman）：概念化。
埃斯特法尼娅·佩雷斯-费尔南德斯（Estefania Perez-Fernandez）：写作——审稿与编辑、验证、概念化。

利益冲突声明：
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

致谢：
作者感谢伦敦帝国学院帝国学院商学院的李小成博士监督第一作者的硕士研究报告，并对早期概念想法提供了宝贵的反馈，这些想法有助于塑造这项工作。作者还要感谢苏黎世ETH陆地生态系统研究所（ITES）的土壤资源小组资助在刚果的数据收集工作，并慷慨地允许将这些数据用于本研究。