《Advanced Intelligent Discovery》：Catalyst-Specialized Chemical Language Model Based on Transformer Variational Autoencoder for Catalyst Design and Discovery
编辑推荐：
催化剂设计日益受益于人工智能（AI）的进步，特别是化学语言模型（CLMs）。然而，催化剂占据了一个以独特元素组成和结构复杂性为特征的独特化学空间，这限制了标准CLMs的适用性，从而降低了其对广泛催化剂发现的效用。在此，研究人员提出了CatTransVAE，一种
催化剂设计日益受益于人工智能（AI）的进步，特别是化学语言模型（CLMs）。然而，催化剂占据了一个以独特元素组成和结构复杂性为特征的独特化学空间，这限制了标准CLMs的适用性，从而降低了其对广泛催化剂发现的效用。在此，研究人员提出了CatTransVAE，一种基于Transformer变分自编码器（VAE）的催化剂专用CLM。CatTransVAE通过在通用化合物上进行预训练，进而在多样化的催化剂数据库上进行微调而开发。研究引入了一种新的模板引导生成框架，以支持在结构约束下的受控催化剂设计。CatTransVAE在多种催化剂类别中展示了有前景的生成性能，并在模板引导生成中实现了高任务有效性。此外，所提出的源自Transformer和VAE组件的两级嵌入（two-level embeddings）与大规模CLMs相比展现出具有竞争力的预测性能。该框架的实际效用通过催化剂优化工作流得以展示。这些结果表明，CatTransVAE为加速催化剂设计与发现提供了一个有用的催化剂专用表示和生成框架。
催化剂专用化学语言模型研究解读
一、研究背景与问题
催化剂是能够提高化学反应速率的重要物质，广泛应用于精细化工、制药和材料工业等领域。随着新反应的出现和可持续化学过程需求的增加，新型催化剂的设计与开发日益受到关注。人工智能（AI）已成为加速材料（包括催化剂和过渡金属配合物（TMCs））开发的有力工具。在众多AI方法中，生成式AI通过学习分子表示来捕捉复杂的化学模式并生成新的分子结构。其中，基于SMILES（简化分子线性输入规范）符号的化学语言模型（CLMs）因其易于实现和可扩展性，已被广泛应用于药物发现、聚合物设计、天然产物生成和反应建模等领域。
然而，催化剂语言模型的发展相对有限，特别是对于均相催化剂，如配体、过渡金属配合物及相关催化体系。标准CLMs在应用于催化剂分子时面临多重挑战：首先，催化剂占据一个以特定元素、配位环境和结构复杂性为特征的独特化学空间，标准CLMs难以充分表征；其次，催化剂结构中常含有分子片段、非常规键合模式和结构约束，且催化剂数据集中的元素分布与通用分子数据集存在显著差异；第三，许多广泛使用的CLMs无法充分对涉及金属原子、电荷和配位键的复杂SMILES表示进行分词处理；最后，催化剂设计涉及超越简单骨架装饰的考量，如保持对称性的模板或具有定制取代基的骨架架构，这使得许多现有生成工具不适用于催化剂设计。此外，大多数现有催化剂CLM研究聚焦于狭窄的催化剂类别，限制了其跨催化剂家族的探索能力和可迁移性。
二、研究内容与主要结论
针对上述挑战，研究人员提出了CatTransVAE，一种基于Transformer变分自编码器（VAE）的催化剂专用CLM。该模型在通用化合物（PubChem数据库，含1000万分子）上进行预训练，进而在多样化的催化剂数据集（CatalystSet，含约417,953个去重后分子）上进行微调，以构建有意义的潜在空间。研究引入了一种新的模板引导生成框架，支持在结构约束下生成符合期望结构模板的任务特异性有效催化剂。模型的预测性能通过两级嵌入（包括Transformer嵌入和VAE嵌入）在催化剂性质预测任务中进行了评估。最后，研究实现了结合预训练生成和预测模型与贝叶斯优化的优化工作流，以促进有前景催化剂候选物的发现。
三、关键技术方法
研究采用的主要技术方法包括：基于Transformer变分自编码器（TransVAE）的核心架构，结合了Transformer和VAE的优势；两阶段训练策略，先在PubChem数据库（1000万分子）上预训练，再在CatalystSet催化剂数据集（涵盖有机催化剂、配体、手性配体和过渡金属配合物，来自11个不同来源）上进行微调；自定义原子级分词器（词汇量320）以处理催化剂结构复杂性；三种采样策略（随机采样、高熵采样和定向采样）和两种解码模式（贪心解码和束搜索解码）用于分子生成；模板引导生成算法（基于PromptSMILES概念扩展，支持侧链、连接子和桥接三种连接类型）；XGBoost回归模型结合Optuna超参数优化用于性质预测；贝叶斯优化用于催化剂候选物迭代优化。
四、研究结果
4.1 催化剂化学空间分析
通过ECFP4指纹和t-SNE可视化比较了CatalystSet与PubChem的化学空间，发现催化剂样本占据更广泛的化学空间区域，表明催化剂相关化合物具有更大的结构多样性。分子性质分布分析显示，所有CatalystSet子集均表现出与PubChem明显不同的性质分布，催化剂分子通常更大且结构更复杂，凸显了开发能够有效学习催化剂特异性化学空间的专用CLM的必要性。
4.2 模型变体评估
通过对比多种模型变体的重建能力发现，仅在PubChem上训练的TransVAE对催化剂数据集表现不佳，而仅在催化剂数据集上训练的模型对PubChem分子重建能力有限。相比之下，在PubChem上预训练并在催化剂数据集上微调的CatTransVAE模型在所有数据集上展现出更广泛的覆盖范围，其中在最大催化剂数据集（CatalystSet_TMC_D）上训练的模型表现最为全面。该模型被选为后续所有研究的代表模型。
4.3 无条件生成性能
在无条件生成评估中，CatTransVAE在有效性、多样性和可行性之间取得了可接受的平衡。束搜索解码在所有采样策略中一致地提高了有效性。高熵采样策略比其它方法促进了更多有效催化剂的生成，这归因于将采样限制在高熵潜在维度子集上，减轻了高维潜在空间采样的挑战，但代价是唯一性略有降低。定向采样虽然有效性较低，但实现了与训练集最高的相似性。
4.4 模板引导生成性能
研究提出了新的模板引导生成算法，通过向连接点引入标识号、构建共享取代基记录字典和改进提示处理，支持侧链、连接子和桥接三种连接类型。在六个基于实验案例研究的自定义提示任务评估中，该方法与SAFE-GPT、REINVENT Scaffold Decorator、REINVENT4（LibINVENT）、PromptSMILES和GPT-OSS等代表性方法进行了基准比较。结果显示，该方法在任务有效性（衡量生成分子与提示之间子结构一致性的指标）方面显著优于其他方法，特别是在包含桥接结构和成环装饰的复杂催化剂设计任务中，传统骨架装饰方法无法无缝生成这些结构基序。
4.5 催化剂性质预测性能
利用两级嵌入（潜在嵌入和Transformer嵌入）作为催化剂特征，在三个基准数据集（C–C交叉偶联结合能预测、Vaska配合物H2活化能垒预测、TEPid Tolman电子参数预测）上评估预测性能。与Morgan指纹（MorganFP）、ChemBERTa、MoLFormer、SMI–TED和MIST等广泛使用的分子表示方法进行基准比较，CatTransVAE嵌入实现了具有竞争力的预测性能（平均排名2.83，平均z分数?0.40）。其中SMI–TED（平均排名2.33）和MorganFP（平均排名2.83）表现最佳，前者受益于9100万分子的大规模预训练，后者直接编码与DFT衍生性质高度相关的结构特征。尽管MorganFP和SMI–TED在预测任务中表现强劲，但这些表示并非为分子生成而设计，而CatTransVAE提供了同时支持预测和生成应用的统一框架。
4.6 优化应用案例
研究通过催化剂设计任务展示了模板引导生成在分子优化中的应用。以Suzuki–Miyaura交叉偶联反应为目标，使用模板[Pd].P([:1])([:1])[:1].P([:2])([:2])[:2]生成具有同配膦配体的钯基配合物，目标结合能设为期望范围（?32.1至?23.0 kcal mol?1）的中点（?27.55 kcal mol?1）。基于CatTransVAE嵌入的预训练XGBoost预测模型用于评分生成的配合物，贝叶斯优化迭代提出新的催化剂候选物。结果显示，优化过程成功产生了大量同时满足期望模板和目标结合能范围的新型催化剂候选物，且预测结合能与DFT计算值表现出良好的一致性。
五、结论与展望
研究提出了CatTransVAE，一种基于SMILES CLM和Transformer VAE架构的催化剂专用CLM，用于学习广泛的催化剂化学空间以进行分子生成。在通用化合物上预训练后进行催化剂特异性微调，增强了催化剂识别能力并扩展了模型的适用域。该模型在集成所提出的模板引导生成框架时展现出有前景的生成性能，能够生成具有高任务有效性的结构约束催化剂候选物。此外，学习到的两级嵌入在多个催化剂性质预测任务中展现出具有竞争力的预测性能，表明CatTransVAE捕捉了与催化剂设计相关的化学上有意义的表示。
研究指出，无条件生成的有效性仍非最优，可能受益于替代分子表示（如SELFIES）或训练中引入有效性感知约束。模板引导生成方面，算法改进和不利片段约束的纳入将是考虑催化剂稳定性和合成可及性的有价值的扩展。由于预测评估依赖冻结嵌入，任务特异性微调可进一步改善预测性能。未来工作将聚焦于将框架扩展到分子结构之外，纳入反应条件和催化性能信息，以促进反应感知的催化剂设计和优化，最终推进催化剂专用模型在催化剂发现和开发中的应用。
