ProBEiT：基于参数高效隐式混合专家的序列-结构多模态蛋白语言模型

《Communications Biology》：Efficient structural information integration into protein language models with implicit mixture-of-experts ProBEiT

　　蛋白语言模型目前已能够直接从序列预测蛋白质的功能和突变效应，但只有少数模型能以极少的额外成本整合由结构决定功能的信息。我们提出了ProBEiT，这是一种多模态架构，通过具有确定性路由的参数高效隐式混合专家方案，联合编码氨基酸序列和离散化、标记化的结构信息。该模型在170万AlphaFoldDB蛋白质上进行训练，参数量达4亿，在适应性预测和功能注释的六项任务上均超越了更大的基线模型，展现了其对序列-结构-功能关系的增强理解能力。与现有的十亿级模型不同，ProBEiT在持续训练早期即可达到较高精度，从而降低了计算成本。在甘油-3-磷酸氧化酶的热稳定性工程实验任务中，该模型能够正确识别出具有正上位效应的优化变异体。这些结果表明，在模态专用框架中将结构上下文与序列建模紧密耦合，能够实现高效且高性能的蛋白质工程。