《Biotechnology Advances》：Deep generative models in biological sequence and structure analysis and design
编辑推荐：
深度生成模型在生物序列和结构分析与设计中的应用，正推动生物学从预测性分析转向可控性设计。研究人员对变分自编码器（Variational Autoencoder, VAE）、生成对抗网络（Generative Adversarial Network, GAN）、
深度生成模型在生物序列和结构分析与设计中的应用，正推动生物学从预测性分析转向可控性设计。研究人员对变分自编码器（Variational Autoencoder, VAE）、生成对抗网络（Generative Adversarial Network, GAN）、大型语言模型（Large Language Model, LLM）和扩散模型（Diffusion Model）在跨分子尺度上的应用进行了批判性比较。大型语言模型在基因组建模中处于领先地位，而扩散模型可能在结构蛋白质设计（Structural Protein Design）中占据主导地位。几何等变性（Geometric Equivariance）与多模态（Multimodality）的整合提高了模型准确性。闭环设计-构建-测试-学习（Design–Build–Test–Learn, DBTL）工作流将计算机模拟（in silico）生成与湿实验（wet-lab）验证联系起来。
1. 生成生物学的概念基础：本章指出机器学习特别是深度生成模型已使生物学从预测分析转向可控设计。变分自编码器（VAE）和生成对抗网络（GAN）早期建立了潜在表示学习与神经序列生成，但各有局限；自回归语言模型、掩码生成模型、离散扩散、几何生成网络与流匹配等新方法扩展了能力。同时，大规模基础模型如LucaOne和Evo 2展示了跨核酸与蛋白的统一建模趋势。作者强调生物学约束（如分子几何、对称性、碱基配对、热力学稳定性、进化耦合）是系统固有属性，不应因架构变化而忽视，并引入“没有免费午餐”定理与归纳偏置讨论来说明领域知识在通用模型时代的持久价值。
2. 生物序列建模的机器学习基础
2.1 生物序列学习：本节强调生物序列学习不同于常规机器学习问题：标记数据稀缺、进化观测存在系统发育相关性、功能依赖可跨越长距离。自监督学习（如自回归预测和掩码语言建模）因此成为主流。蛋白质语言模型可从序列预训练中恢复结构、进化和功能信息，但大规模预训练不保证可靠的分布外（Out-of-Distribution, OOD）泛化，评测如ProteinGym和DNA基础模型基准显示跨任务性能差异显著，参数规模并非通用性的充分指标。
2.2 生成建模作为生物设计框架：生成建模从早期表示学习扩展到条件生成和全新设计。以RFdiffusion为例证明生成模型可基于几何和功能条件产生实验验证的蛋白质结构；Evo 2等大规模模型整合基因组预测与生成。评估生成系统需考虑完整设计场景（表示、数据、约束、条件、资源、验证），而非单一架构。
3. 生物序列的生成模型架构
3.1 生物序列设计中的生成建模范式
3.1.1 经典概率与基于能量的模型：早期马尔可夫链和最大似然模型难以处理高维、强上位性和长程依赖；受限玻尔兹曼机（RBM）和深度信念网络（DBN）存在推断棘手、噪声敏感等障碍，逐步被定向生成框架取代。
3.2 用于生物序列建模的变分自编码器
3.2.1 变分自编码器在DNA序列建模中的应用：早期DNA VAE使用卷积编码器学习局部调控语法，但难以捕获远端调控相互作用；分层VAE通过多级潜变量分配不同抽象层级的序列信息，改善可解释性和条件生成，但对长序列和远端依赖的建模仍有限。
3.2.2 变分自编码器在RNA序列和结构建模中的应用：RNA功能与二级/三级结构强相关，早期仅序列重建的VAE不足以保证正确折叠；结构感知VAE联合建模序列和碱基配对概率，结合上下文无关文法（CFG）可更好地生成有效序列-结构组合，但对假结和三级相互作用仍受限。
3.2.3 变分自编码器在蛋白质序列建模与生成中的应用：现代蛋白质VAE采用Transformer编码器-解码器捕捉长程残基耦合，但序列注意力不显式保证三级几何。β-VAE和信息瓶颈变体用于解耦稳定性、溶解度等维度；向量量化VAE（VQ-VAE）将连续潜变量离散化，改善下游自回归建模。蛋白质VAE仍受固定维度潜瓶颈限制，正则化与重建之间需权衡。
3.2.4 跨模态性能比较：VAE的主要优势在于紧凑连续潜在空间，支持聚类、插值和条件生成。在DNA中适用于短调控元件；在RNA中需结构感知和文法约束；在蛋白质中适合学习家族适应度景观和进化邻域内的变体生成，但重建准确不保证正确折叠或活性。ELBO中重建保真度与潜在正则化的权衡是关键限制。
3.2.5 变分自编码器在序列生物学中的当代角色：VAE从早期序列嵌入发展为与结构语法、Transformer混合。DeepSequence等利用MSA捕捉高阶依赖；Greener等实现拓扑或金属蛋白约束条件生成；ProT-VAE结合Transformer注意力与VAE潜在采样，支持无比对表示学习和条件设计。RNA方面RfamGen整合一致二级结构，CFG-VAE和RGVAE利用文法规则保证结构一致性。基因组领域VAE用于启动子设计和潜在扩散tokenizer，也扩展至多基因风险评分。VAE不再作为端到端解决方案，而是作为潜在表示引擎和预训练模块嵌入更大流水线。
3.3 面向生物序列的对抗生成建模
3.3.1 对抗目标与训练稳定性：GAN通过生成器-判别器极小极大博弈隐式建模数据分布。原始GAN在离散序列上存在不可微采样和训练不稳定问题；Wasserstein GAN（WGAN）及梯度惩罚（WGAN-GP）改善稳定性。条件GAN（cGAN）通过标签或属性变量控制生成，但需注意数据集捷径导致泛化不足。解决离散性的方法包括Gumbel-Softmax连续松弛和SeqGAN风格策略梯度。
3.3.2 GAN在DNA分析中的应用：启动子设计是GAN在DNA生成中验证最充分的应用之一，如使用WGAN-GP生成大肠杆菌启动子并实验验证。增强子设计常采用反馈环路GAN变体，结合外部序列-功能预测器。总体而言，GAN在短至中等长度序列设计中有效，长序列因判别器全局信号难分配合适的核苷酸贡献而受限。
3.3.3 GAN在RNA分析中的应用：GAN在RNA设计中的影响有限，因为RNA设计通常需要序列折叠成预定义结构，对抗训练自身提供不了结构指导；相对较小的数据集和折叠计算成本进一步阻碍训练，因此RNA领域转向逆折叠、扩散和结构感知生成模型。
3.3.4 GAN在蛋白质分析中的应用：ProteinGAN证明GAN可学习蛋白质家族分布并生成功能酶变体；抗菌肽（AMP）设计中条件GAN支持多性质引导，如AMPGAN v2；反馈GAN（FBGAN）集成预测器闭环优化目标属性。MolGAN等用于药物发现中的分子图生成。当前GAN在需要高吞吐生成或预测器在环的短序列设计场景仍有价值，但多作为混合流水线中的快速生成器。
3.4 生物序列的语言模型
3.4.1 自回归生物语言模型基础：自回归模型将联合概率分解为条件概率乘积，适合离散、有序且受上下文依赖的序列。相比潜变量模型，提供精确似然和稳定优化，但存在暴露偏差和难以遵循全局结构约束。早期RNN/LSTM受限于梯度消失和长程依赖。
3.4.2 Transformer架构与长程依赖：Transformer通过自注意力捕捉任意位置间依赖，多头注意力并行学习多种关系。生物中相关残基可相距遥远，注意力机制满足此需求。
3.4.3 自监督学习目标：大规模未标记DNA/RNA/蛋白质序列上通过自回归或掩码目标预训练，进化过程将功能和结构约束编码于序列变异中，模型嵌入可组织序列按功能、折叠或进化距离排列。ESM等蛋白质语言模型展现零样本预测突变效应、稳定性和适应度的能力；ESM3进一步多模态联合推理序列、结构和功能。
3.4.4 自回归建模在DNA分析中的应用：基因组语言模型面临极长序列挑战，近期架构采用稀疏注意力、状态空间模型或混合卷积-注意力实现百万碱基上下文。HyenaDNA使用长卷积达到百万碱基上下文，Evo 2在数万亿核苷酸上预训练支持兆碱基规模设计。双向模型如Caduceus仍用于变体效应预测，长上下文自回归模型成为大规模合成基因组工程的主要范式。
3.4.5 自回归建模在RNA分析中的应用：RNA语言模型介于DNA和蛋白质之间，需考虑二级和三级结构。序列级RNA模型隐式学习折叠偏好，近期方法显式以结构为条件或联合预测序列与碱基配对。RNA-FM和RNA-LM家族提供跨家族基础嵌入，但复杂三级相互作用建模仍是开放挑战。
3.4.6 自回归建模在蛋白质分析中的应用：蛋白质领域有表示学习和从头合成双轨演进。ESM-1b/ESM-2提供零样本嵌入和变异效应预测；ProGen和ProGen2通过功能标签控制蛋白生成，ProtGPT2无条件下捕捉自然序列统计；ESM3使用掩码生成实现多模态设计；ProteinMPNN等结构条件自回归解码优化逆折叠。混合流水线将LLM生成与扩散模型、强化学习结合优化生物物理性质。
3.4.7 跨模态比较：自回归模型在不同模态中表现各异，取决于序列长度、训练数据、结构约束和应用场景。DNA长上下文模型适合全基因组生成；RNA需结构调节；蛋白质受益于大型数据库和成熟验证流程，但序列似然不保证正确折叠。混合流水线成为主流，LLM提出候选，扩散或逆折叠细化，最终实验验证。
3.5 用于生物序列的扩散模型与流匹配
3.5.1 扩散与流匹配在基因组DNA设计中的应用：离散去噪扩散概率模型（D3PM）允许对整个调控区域进行并行精炼。DNA-Diffusion利用U-Net生成合成顺式调控元件（CRE），实验验证可产生高效细胞类型特异性启动子/增强子。D3LM框架统一双向表示与生成。Dirichlet Flow Matching提供连续时间序列设计，无需离散噪声调度。
3.5.2 扩散与流匹配在RNA序列生成中的应用：RNA设计需满足复杂多状态热力学集合。RNAFlow将逆折叠与流匹配结合用于蛋白质条件RNA序列-结构设计；RiboGen联合生成RNA序列和全原子3D坐标，利用欧几里得等变网络保证生物物理可行性；RNA-EFM在流匹配中纳入伦纳德-琼斯势和序列自由能能量项，进行基于能量的精炼。
3.5.3 扩散与流匹配在蛋白质序列设计中的应用：SE(3)-等变性是结构生成的核心。EigenFold将结构预测表述为谐波扩散过程，生成结构系综；RFdiffusion2支持酶活性位点精确支架；AlphaFold 3使用扩散模块联合建模蛋白质、核酸和配体排列。为降低计算成本，流匹配架构如ProteinZen使用SE(3)流匹配将生成速度提升10-50倍；ProtFlow在蛋白质语言模型潜在语义空间执行流匹配，生成全局一致序列。
3.6 归一化流
3.6.1 归一化流在DNA分析中的应用：归一化流（Normalizing Flows, NF）提供精确密度估计，但DNA离散字母表需连续松弛或特殊分类流。该方法可生成符合复杂基因组文法的合成调控序列，但可逆变换的可处理性和离散性限制其应用，相对自回归和扩散模型使用较少。
3.6.2 归一化流在RNA分析中的应用：NF通过可逆映射表示RNA构象分布，可学习从简单先验到玻尔兹曼折叠分布的连续流，采样多样且热力学稳定的二级结构，效率优于MCMC。例如Yan等将连续归一化流（CNF）用作VAE潜空间的先验，以建模序列-结构关系。但直接处理离散RNA字母表需特殊离散或潜在流，近期RNA模型更倾向流匹配。
3.6.3 归一化流在蛋白质分析中的应用：蛋白质结构建模是NF最成熟的应用之一。等变归一化流（ENF）和E(n)-等变流将物理对称性嵌入变换层，保持立体化学完整性。玻尔兹曼生成器学习分子平衡分布并生成近似独立构象样本；平滑归一化流在环面和紧区间上定义可逆变换，直接建模扭转角、键角和键长，使生成结构符合自然立体化学约束。
4. 生成模型的模态特定应用
4.1 DNA应用：DNA建模尺度差异大。早期VAE/GAN用于短调控元件；DNA-Diffusion通过染色质可及性信息生成细胞类型特异性CRE并经实验验证。HyenaDNA达到近百万核苷酸上下文，Evo 2支持跨物种基因组预训练和生成，King等使用Evo家族模型生成功能性噬菌体基因组。然而基准评测显示性能因任务而异，应根据问题规模选择长上下文模型、条件扩散或预测器引导方法。
4.2 RNA应用：RNA设计常与二级/三级结构和动态相关。RfamGen结合VAE与家族比对和一致二级结构，生成功能性核酶变体；RiboDiffusion以目标三维骨架为条件生成RNA序列；RNAFlow和RNA-EFM通过流匹配实现蛋白质条件序列-结构设计。序列约束和结构约束是两类问题，序列模型适用于表型可由一级序列或可靠预测器表示的情形，结构生成模型适合需特定折叠或分子界面的设计；与计算折叠一致并不等于
