SpectralTAG: 基于统一的大语言模型与图神经网络文本图的红外光谱官能团识别

《Analytica Chimica Acta》：SpectralTAG: Functional group identification from infrared spectra via unified LLM and GNN textual graphs

　　

摘要

背景：光谱分析是现代化学表征的重要基础，然而从光谱信号中提取具有化学意义的解释仍受限于数据驱动的模式识别与结构化领域知识之间的脱节。

结果：本文提出SpectralTAG，一个统一的基于图的推理框架，通过将红外光谱、层次化化学知识图谱和科学文本表示在共同的文本属性图（TAG）中来弥合这一差距。在该表示中，连续光谱被离散化为语义标注的区间节点，与化学本体中的官能团和振动类型实体对齐，并辅以任务特定的提示节点和响应节点，从而能够在一个图骨干网络的支持下，通过大语言模型编码和图神经网络推理，实现节点级官能团分类、边级峰对关系判定和图级分子分类任务，而无需针对特定任务进行架构重新设计。在306个有机分子及其红外光谱上进行评估，SpectralTAG在24种编码器–GNN组合中，边级和图级任务的AUC均超过0.98，其中LLaMa2-7b与R-GCN的组合表现出最一致的任务间性能。该框架还支持多任务训练，性能损失可忽略不计，并在不相交标签条件下展现出新兴的零样本和少样本泛化能力。

意义：这些结果确立了文本属性图作为一种可行范式，可用于在单一推理架构中统一异质科学数据，其影响不仅限于光谱学领域，对更广泛的知识增强科学分析也具有启示意义。

引言

自然科学领域面临的核心挑战之一是如何借助领域知识解读物理测量。在基因组学、材料科学和分析化学中，原始信号通常不自我解释；其意义只有在结合产生它们的系统先验知识时才能显现[1]，[2]，[3]。这造成了一个根本性的张力：数据驱动的方法擅长模式识别但缺乏对结构化领域语义的访问，而知识驱动的方法编码了丰富的关系上下文但难以直接处理原始测量[4]。弥合这一差距，使模型能够同时对物理信号和结构化科学知识进行推理，仍然是一个对自动化科学发现具有广泛影响的开放问题[5]，[6]。

红外（IR）光谱学以高度集中的形式体现了这一挑战。该技术是识别分子官能团最广泛使用的方法之一，应用涵盖药品质量控制、材料表征、食品安全和环境监测等领域[7]，[8]。其原理很直观：不同的官能团在特征波数下吸收红外辐射，产生编码分子结构的光谱特征[9]。然而在实际中，自动解读仍然困难，因为不同基团的特征吸收带经常重叠。例如，C–H和O–H伸缩振动都会在2800–3500 cm?1区域产生宽吸收带，而羰基CO伸缩虽然通常引用在约1700 cm?1附近，实际上在1550–1850 cm?1的宽范围内被观察到，具体取决于羰基属于醛、酮、酯还是酰胺，并且会因共轭、氢键或环张力而进一步位移[10]。解决这种模糊性不仅需要光谱信号本身，还需要关于官能团层次、振动模式和分子背景的先验化学知识。这恰恰是当前方法处理不佳的信号与知识的联合整合类型。

针对这一问题的数据驱动方法取得了快速进展。Fine等人展示了从FTIR和MS数据进行官能团预测的光谱深度学习[11]，Jung等人训练了卷积神经网络（CNN）对超过50,000个光谱中的37个官能团进行分类[12]。最近，Doan等人提出了Fcg-Former，一种基于Transformer的模型，利用自注意力从FTIR光谱中识别17个官能团[13]，Wang等人开发了特征聚合深度学习用于红外官能团预测[14]。Stienstra等人引入了Graphormer-IR，利用具有高度专门注意力的图Transformer来预测实验红外光谱[15]。这些模型在受控设置中实现了强大性能，但它们将光谱视为平坦的数值输入，不纳入结构化化学知识，限制了其可解释性以及对训练分布之外的分子类别的泛化能力。

知识增强方法提供了互补的方向，通过显式编码化学实体之间的关系。在分子性质预测中，Fang等人引入了一种面向化学元素的知识图谱（KG），用于知识增强的分子对比学习（KANO），证明了关于元素和官能团的结构化先验可以显著改善下游性能[16]。化学专用知识图谱也已为反应预测[17]、生物医学靶点发现[18]和材料信息学[19]而构建。然而，这些方法通常处理分子结构而非原始光谱测量，使光谱数据作为次要输入而非一等推理对象。

一种融合信号与知识的有前景的途径已从大语言模型（LLM）和图神经网络（GNN）的最新进展中浮现。LLM提供了灵活的语义编码器，可以将异质描述——包括光谱属性、化学性质和文本元数据——映射到共享的嵌入空间[20]，[21]，[22]。与此同时，多模态科学模型已展示了从分子图、文本和实验数据中联合学习的价值[23]，[24]，[25]。在新兴的文本属性图（TAG）学习领域，基于LLM的编码和基于GNN的推理相结合在多图问题上表现出了强大性能。One for All（OFA）[26]和UniGraph [27]等基础框架证明了，通过将所有节点和边属性表达为自然语言描述，可以在单一GNN架构下统一多种图任务，包括节点分类、链接预测和图分类。TAPE [28]和ENGINE [29]进一步证明了LLM可以充当GNN节点特征的强力增强器，而基于提示的图多任务学习则由GraphPrompt [30]和All-in-One [31]推进。

在化学领域，Li等人提出了Hybrid-LLM-GNN，将LLM嵌入与GNN特征拼接用于材料性质预测[32]。Fan等人将层次注意力GNN与LLM推断的特征结合用于溶解度预测[33]。在光谱分析方面，SpeLL [34]和LUMIR [35]等LLM驱动的框架展示了语言模型在自动化光谱解读方面的潜力，Alberts等人将基于Transformer的架构应用于红外结构解析，在实验光谱上取得了显著结果[36]。Devata等人通过深度强化学习结合红外和13C NMR光谱用于分子结构预测[37]。然而，这些方法要么拼接模态特定的嵌入而非在统一图上执行端到端推理，要么孤立地处理光谱信号而缺乏对结构化化学知识的系统整合。

尽管取得了这些进展，目前尚无任何现有框架能在统一的图表示中同时建模光谱信号、结构化化学知识和文本信息，也没有框架能通过单一任务接口支持多种光谱任务粒度。对于红外光谱的官能团识别，当前方法要么对平坦的数值输入应用端到端分类而不利用化学先验，要么通过松散耦合的后处理来整合领域知识，这阻碍了光谱证据与化学背景之间的双向信息流。尽管基于图和基于语言的方法各自展现了前景，但它们的集成仍然局限于简单的特征拼接或并行嵌入，未能利用连接光谱观测与化学本体的丰富关系结构。这一差距对于光谱解读尤为限制，因为吸收峰化学含义本质上是关系性的：它不仅取决于其位置和强度，还取决于它与其他峰的共现及其与已知官能团振动模式的对应关系。

在本工作中，我们提出SpectralTAG，一个通过将所有节点和边属性表示为自然语言描述来弥合这一差距的框架（图1），并使用LLM将其编码到共享的语义空间。生成的图由GNN处理，辅以任务特定的提示节点和响应节点，遵循基于提示的图学习范式[30]，[31]，[38]，使同一知识增强骨干网络能够在无需任务特定模型重新设计的情况下支持官能团分类、峰对关系判定、分子分类和光谱生成。

本工作的主要贡献总结如下：

（i）一种统一的文本图表示，在共同的图结构中编码光谱信号、官能团描述和结构化化学知识，实现对物理测量与化学语义的联合推理。

（ii）集成基于LLM的语义编码，将异质节点和边属性映射到共享的嵌入空间，消除了任务特定特征工程的需要。

（iii）一种基于提示节点和响应节点的任务图机制，支持节点级官能团识别、边级峰对关系判定以及图级分子分类和光谱生成任务，无需模型重新设计。

（iv）在分子红外光谱数据集上的实验验证，展示了强大的多任务性能、多任务学习能力以及有前景的零样本和少样本泛化能力。

小节片段

预备知识

本节首先定义文本属性图（TAG）的形式化，然后描述本工作中使用的三个数据源，最后介绍将异质数据转换为统一图表示的通用TAG转换流程。

统一文本图处理模型

所提出的模型如图5所示，由两个主要阶段组成。首先，通过频率区间匹配将光谱图与化学知识图谱进行对齐和融合，构建合并图，如第3.1节所述。其次，通过向合并图添加任务特定的提示节点和响应节点形成任务图，然后基于LLM的编码和基于GNN的推理产生最终预测，详见第3.2节。

实验设置与基线

所有实验均在单块NVIDIA GeForce RTX 4070 Ti SUPER GPU（16 GB显存）上进行。除特别说明外，每个结果都是在相同训练和推理配置下十次独立运行的均值和标准差。

为研究语义编码质量的影响，我们评估了五种不同规模范围的文本编码器：110M参数和768维嵌入的BERT [42]，70M参数和768维嵌入的Sentence Transformer [43]。

与相关方法的比较

SpectralTAG在基本架构方面与现有的LLM和GNN集成策略存在根本差异。Hybrid-LLM-GNN [32]和HASolGNN-LLMs [33]等方法将LLM和GNN的输出视为并行特征通道，其嵌入独立提取后拼接用于下游预测。相比之下，SpectralTAG将所有异质信息编码在单一的文本属性图中，GNN在统一结构上执行消息传递。这种设计……

CRediT作者贡献声明

余子茹：撰写–审阅与编辑，撰写–原稿，可视化，验证，项目管理，方法论，基金获取，概念构思。梁纪恒：撰写–原稿，可视化，验证，方法论，形式分析，数据整理。谢祖杰：撰写–原稿，验证，软件，调查，形式分析，数据整理。何晶：监督，资源，项目管理。

资助

本工作由中国江西省重点研发计划[项目编号：S202595331]和中山大学[项目编号：74130-71010028]资助。

利益冲突声明

作者声明他们不存在已知的可能影响本文报告工作的竞争性财务利益或个人关系。

余子茹 | 梁纪恒 | 谢祖杰 | 何晶

中山大学深圳校区电子与通信工程学院，518107，中国