基于实验反馈强化学习的蛋白质语言模型对齐与功能性蛋白质设计

《Nature Communications》：Functional alignment of protein language models via reinforcement learning

　　

摘要

蛋白质语言模型（pLMs）能够实现新型蛋白质序列的生成式设计，但与蛋白质工程目标仍存在根本性的错位，因为它们缺乏对功能的显式理解，且往往无法改善超越自然界现有水平的特性。我们引入了来自实验反馈的强化学习（RLXF），这是一个通用框架，通过将蛋白质语言模型与实验测量的功能目标对齐，其方法灵感源于用于对齐像 ChatGPT 这样的大型语言模型的方法。在五种多样的蛋白质家族中应用，RLXF 提高了生成功能性变体的能力，超越了预训练基线。我们通过 CreiLOV 证明了这一点，CreiLOV 是一种不依赖氧气的荧光蛋白，其中经过 RLXF 对齐的模型生成了荧光显著增强的序列，包括迄今为止报道的最具荧光的 CreiLOV 变体。我们的结果表明，经过 RLXF 对齐的模型有效地整合了预训练 pLMs 中编码的进化知识与实验观察，提高了生成序列的成功率，并使得发现通过零样本或进化方法难以识别的协同突变组合成为可能。RLXF 提供了一种可扩展且易于应用的方法来引导生成模型朝向所需的生化特性，使得能够实现超越自然进化极限的功能驱动型蛋白质设计。