LUMIR：一个基于大型语言模型（LLM）的统一代理框架，用于多任务红外光谱推理

《Analytica Chimica Acta》：LUMIR: an LLM-Driven Unified Agent Framework for Multi-task Infrared Spectroscopy Reasoning

红外光谱分析自动化框架LUMIR通过整合文献知识库与LLM驱动的多任务推理，实现低数据条件下的高效预处理、特征提取及分类/回归/异常检测，在多个公开数据集上表现与经典方法相当，验证了LLM在化学计量学中的可扩展性和资源效率。

　　红外光谱技术作为一种快速且非破坏性的分析手段，已被广泛应用于多个领域，如食品质量评估、制药过程监测、农产品评价以及环境传感等。其非破坏性、快速的数据采集和样品准备需求，使其在学术研究和工业实践中备受青睐。然而，红外光谱数据本身具有高维度和复杂的吸收带重叠特性，这给其稳健和通用的解读带来了巨大挑战。传统的机器学习和深度学习方法，如偏最小二乘回归、支持向量机、卷积神经网络和基于Transformer的架构，虽然在经过精心处理的数据集上能够达到较高的准确性，但它们通常依赖于特定的预处理和变量选择步骤，并且在面对新的样品矩阵或不同的仪器时，往往需要重新校准或调整方法。这种依赖性增加了分析流程的复杂性，限制了其适应性，从而阻碍了其在多变的现实环境中的快速部署。

近年来，大型语言模型（LLMs）在少样本学习、思维链推理和跨领域泛化方面展现出强大的能力。一些开创性的研究已经开始将LLMs应用于科学领域，这些模型逐渐演变为基于LLM的智能代理，能够自主执行关键任务，包括假设生成、实验设计、数据分析和模拟等。与通用型LLMs不同，这些专门化的智能代理结合了推理与行动，通过与外部工具或数据源的交互，集成了领域知识、高级工具集和验证机制。这些智能代理在软件开发和流程自动化等领域日益普及，能够处理复杂的数据类型，确保可重复的结果，并最终支持科学发现。

在光谱分析和检测领域，LLMs的应用主要分为两种互补的方式。一种方法是将LLM作为解释器，首先对高维光谱信号进行预处理，然后将其转换为结构化的文本格式，如JSON，以便模型处理。这些格式化的输入通过任务特定的提示或上下文示例提供，使模型能够在不更新其内部参数的情况下提取特征、突出诊断吸收带或生成定量估计。另一种方法则是对LLM（或其衍生架构）进行微调，使其直接将光谱映射到分析目标。例如，Zhu等人（2024）对Babbage-002模型进行了微调，利用子像素分解的近红外光谱数据进行编码，以预测毒素含量，其结果优于一维和二维卷积神经网络的基线模型。Liang等人（2024）则采用基于提示的LLM工作流程，从处理后的特征集中提取特征紫外-近红外光谱带，用于化学需氧量的预测，显示出精心设计的提示和上下文推理能够匹配甚至超越传统机器学习方法，同时显著减少对任务特定参数调优的需求。

与此同时，其他科学领域也出现了多个相关的端到端框架。例如，基于大型语言模型的X射线光电子能谱（XPS）分析结合了GPT驱动的推理与曲线拟合程序，以帮助解释光电子光谱。然而，这种方法主要关注于后处理阶段，而非构建一个通用的多任务分析流程。SpecCLIP则引入了一个基础模型，用于在不同天文仪器之间对恒星光谱测量进行对齐和转换，强调跨仪器校准而非化学计量方法的选择。最近的XASDAML则提供了一个基于机器学习的平台，涵盖数据集构建、建模和统计分析，尽管它依赖于传统的机器学习工作流程，而非基于LLM的智能代理。

为了克服传统化学计量方法的局限性，我们提出了一种统一的、基于LLM的智能代理框架，该框架无缝集成了基于文献的方法检索、自动光谱预处理、特征提取和多任务推理，形成一个完整的端到端分析流程。首先，通过检索算法查询一个结构化的同行评审红外光谱文献知识库，以识别特定研究对象的相关预处理和特征提取方法。然后，将这些方法描述映射到一个预定义的Python函数库中，包括非对称最小二乘基线校正、Savitzky-Golay平滑、标准正态变量变换、乘法散射校正、归一化、去趋势、主成分分析（PCA）、偏最小二乘回归（PLS）、非负矩阵分解（NMF）、连续小波变换、光谱导数、峰检测和统计总结等。这些方法不直接暴露高维光谱数据给LLM，而是通过结构化的特征集进行处理，确保每一步都科学合理且可重复。图1展示了基于LLM的统一智能代理框架用于多任务红外光谱推理的基本结构。

在构建了自动预处理和特征提取的骨干之后，该框架进一步集成了多任务推理能力，使LLM能够在统一的环境下执行分类、回归和异常检测等下游分析任务。对于每个任务，模型会从处理后的特征集中获取少量示例，并基于这些上下文演示直接生成预测结果。通过在工作流程中嵌入结构化的指导和任务特定的提示，所提出的框架实现了化学计量方法的选择和执行的自动化，并能够灵活适应各种分析目标，从而提供一个可解释且可扩展的红外光谱分析解决方案。代码和所有实验数据均可在GitHub上获取。

本研究的主要贡献包括以下几个方面：

1. **端到端的智能光谱分析流程**。我们整合了先验的文献知识，以科学验证的方法选择预处理和特征提取步骤，然后通过多轮LLM推理在一个统一的工作流程中执行多样化的分析任务。

2. **统一的多任务框架**。我们的系统能够同时进行分类、回归和异常检测，克服了单一目标方法的限制。

3. **少样本提示的高效性**。通过仅利用少量训练数据，智能代理能够实现高精度的分析结果，其性能显著优于在相同样本规模下训练的传统机器学习模型。

通过将基于文献的方法与基于提示的推理相结合，LUMIR框架不仅提高了红外光谱分析的效率和准确性，还为跨领域和跨任务的光谱分析提供了一个统一的解决方案。尽管其性能尚未超过在高度优化条件下经过优化和验证的专用经典方法，如通过PCV和A-CARS-PLS优化的PLS模型，但该框架展现出强大的泛化能力和适应性，使其在资源有限的环境中也具有显著优势。此外，该框架的可解释性和可扩展性，使其在科学和工业应用中具备广泛的可能性，为未来的红外光谱分析研究和应用提供了新的思路和方法。