《Patterns》：FLAb2: Benchmarking reveals that protein AI models cannot yet consistently predict developability properties
编辑推荐：
研究人员介绍抗体适应度景观（Fitness Landscape for Antibodies，FLAb2），这是目前用于治疗性抗体设计的最大公共基准，包含来自32项研究、覆盖7项可开发性属性的超过400万条抗体的可开发性数据：热稳定性（thermostabil
研究人员介绍抗体适应度景观（Fitness Landscape for Antibodies，FLAb2），这是目前用于治疗性抗体设计的最大公共基准，包含来自32项研究、覆盖7项可开发性属性的超过400万条抗体的可开发性数据：热稳定性（thermostability）、表达（expression）、聚集（aggregation）、结合亲和力（binding affinity）、药代动力学（pharmacokinetics）、多反应性（polyreactivity）和免疫原性（immunogenicity）。在评估30个AI模型和生物物理模型后，研究人员发现其中大多数（80%）未能产生具有统计学显著性的相关性，且没有任何模型在所有属性上均表现良好。部分预训练模型（IgLM、ProGen2、Chai-1、ESM2、ISM和IgFold）在特定属性上显示出显著的零样本（zero-shot）相关性。使用≥102个数据点进行微调有助于热稳定性、聚集和结合预测，但多反应性和药代动力学缺乏足够数据。在数据充分（103个数据点）时，经微调的独热编码（one-hot encoding）模型可与十亿参数级模型相匹敌。训练数据比模型架构更重要，内在属性（如热稳定性）比外在属性（如免疫原性和药代动力学）更易预测。偏相关分析（partial correlation analysis）显示，胚系距离（germline distance）解释了语言模型表观预测能力中约37%。
论文主体解读
研究背景与问题：治疗性抗体已成为重要药物类别，已有超过200种抗体药物上市，近1400个候选产品处于临床研究。候选抗体的疗效取决于药物样生物物理属性之间的复杂平衡，即可开发性属性；提高某一属性可能损害其他属性。人工智能（AI）正被用于抗体设计，可生成VHH、scFv和Fv等多种形式抗体，并靶向感染性疾病和 endogenous 分子靶点；预训练蛋白语言模型也被用于零样本（zero-shot）突变选择及基于嵌入（embedding）的下游可开发性预测。然而，现有抗体设计方法常以天然序列或结构恢复率评价，不能完整反映治疗潜力；部分序列或结构预测器也尚未针对实验抗体可开发性数据进行稳健验证。既有蛋白功能基准如CAFA、TAPE、FLIP、ProteinGYM等均排除抗体数据，而抗体具有独特挑战：每个抗体在单个生物体内独立演化，CDR H3环序列缺乏有意义的进化历史，CDR结构灵活性和序列多样性增加预测难度，商业可开发性数据又常不公开。结合亲和力基准虽已出现，但抗体成功还取决于其他可开发性因素。为此，研究人员构建FLAb2，以评估蛋白质AI模型能否捕捉治疗性抗体关键特征。论文发表于《Patterns》。
关键技术方法（≤250字）：研究人员整合Jain et al.及另外31项研究共32项研究的实验适应度数据，构建覆盖超过400万条抗体、7类可开发性属性的FLAb2；数据来自公开文献、竞赛及合作者，Ginkgo Datapoints和NaturalAntibody等不能再分发的数据由提供方直接获取。评估30个AI与生物物理模型。零样本评测将重链和轻链分别输入蛋白语言模型，取平均困惑度（perplexity）；结构条件模型先由Chai-1预测结构再计分，计算其与实验适应度标签的Spearman相关。少样本评测提取重/轻链嵌入并拼接、池化，训练两层全连接网络回归，按80/10/10划分，取3个随机种子平均，确保训练集与测试集无相同序列，测试集至少10条。采用Spearman相关及Precision@(k=5%、10%、20%)评价，排除n<5的数据集；并计算Levenshtein胚系距离及偏相关。
研究结果
零样本结果（Zero-shot results）：研究人员以模型似然（平均困惑度）与实验可开发性属性的相关性评估零样本预测。
大多数模型与大多数数据集无统计学显著相关性：ISM 650M具有最多显著相关，为94项相关，占全部可开发性数据集的39%。模型平均对免疫原性数据集的51%、表达35%、热稳定性24%、结合20%、聚集17%、多反应性16%、药代动力学14%达到显著相关。差异可能来自模型是否捕捉生物物理属性、数据集过小及实验读数噪声；部分数据集在多个模型上均显著，提示其较干净且样本量足以用于公平评测。
没有单一模型能高精度预测所有可开发性属性：表达最易（平均Spearman ρ=0.22），聚集最难（ρ=-0.07）；由易到难为表达>免疫原性>热稳定性>结合>多反应性>药代动力学>聚集。IgFold总体最佳（ρ=0.12），但多数类别有各自最佳模型：Chai-1最佳预测热稳定性（ρ=0.45），ESM2 150M最佳预测表达（ρ=0.44），BioPython charge at pH 7.4最佳预测聚集（ρ=0.29）、药代动力学（ρ=0.59）和多反应性（ρ=0.18），ProGen2 Medium最佳预测免疫原性（ρ=0.34）。某类别优势不泛化，如Chai-1对聚集为ρ=-0.17，ESM2 150M对药代动力学为ρ=-0.15。结合预测随抗原靶点变化，模型中位ρ从FX1的0.24到HA的-0.25。数据集内平均序列一致性未见影响。Precision@5%时无模型在六个类别平均超过0.12，平均精确率为0.06；k=10%平均0.10，k=20%平均0.18，接近随机水平。内在属性可由抗体序列或折叠推断，外在属性依赖抗原、患者免疫系统、宿主细胞机器及体内代谢等上下文。热稳定性预测困难可能与融化曲线中哪一部分先融化难以界定有关；聚集九项测定中仅NRCGE（ρ=0.27）、SEC（ρ=0.27）和SAS（ρ=0.07）方向符合预期，其余为负相关。
模型架构对零样本性能无显著影响：自回归语言模型（ρ=0.01）、掩码语言模型（ρ=0.01）、逆折叠模型（ρ=0.02）和结构预测器（ρ=0.07）总体相似。类别上，自回归模型在结合和免疫原性最佳，掩码模型在表达最佳，逆折叠模型在多反应性最佳（与结构预测器并列），结构预测器在热稳定性和多反应性最佳。AntiBERTy与IgLM、ESM2与ProGen2在多数类别表现相当；相似规模、相同输入表示和训练集的模型学习到相同数据分布。
纳入结构可改善零样本性能：结构信息掩码语言模型、逆折叠模型和结构预测器在多数类别占优。ISM与ESM2比较结果混合，但总体ISM优于ESM。结构模型以残基为节点、空间接触为边进行消息传递，捕捉局部几何约束、成键环境和非局部空间相互作用，这些特征影响蛋白稳定性且难以从纯序列表示直接获得；该结果与Notin et al.报告一致。
抗体特异性模型与通用蛋白模型在不同可开发性领域各有所长：通用蛋白模型更佳预测表达（ρ=0.32），抗体特异性模型更佳预测免疫原性（ρ=0.11）。ProGen2 Medium较ProGen2 OAS更佳预测表达（ρ=0.36）、结合（ρ=0.18）和免疫原性（ρ=0.34）；原ProGen2论文亦指出通用ProGen2模型在抗体结合、热稳定性和表达预测上优于ProGen2 OAS。总体而言，抗体特异性模型反映抗体序列模式和人源框架理解，擅长结合和免疫原性；通用模型因序列和结构多样性更广，擅长表达和热稳定性。
基于物理的模型与AI模型捕捉正交的蛋白属性：PyRosetta未在任何类别居首，且总体无强相关。BioPython charge at pH 7.4在所有物理和AI方法中最佳预测聚集（ρ=0.29）、药代动力学（ρ=0.59）和多反应性（ρ=0.18）；DeepSP的CDR空间电荷图预测药代动力学与之一致（ρ=0.59）。物理模型在聚集、药代动力学和多反应性上显著相关数量最多；AI模型在结合、表达、热稳定性和免疫原性上更佳。电荷模型在聚集和药代动力学上表现好，与这些属性受带电表面斑块驱动一致。
更大的蛋白质AI模型并不优于中等规模模型：增加参数量未系统改善零样本性能；结合和药代动力学持平，热稳定性和免疫原性仅边际改善，聚集下降，多反应性高度变异。该结果与“规模改善零样本性能”的常见主张不同；Notin et al.亦发现十亿参数蛋白语言模型不如百万参数模型。该趋势可能反映模型容量与数据覆盖的平衡：过大模型有记忆风险，较小模型更有效泛化；训练token与参数之比可能更有意义。
蛋白质AI模型偏向抗体胚系信号而非可开发性：受Olsen et al.观察启发，研究人员计算模型置信度与抗体至其胚系序列Levenshtein距离的Spearman相关。ProGen2 BFD90在所有类别中相关最强（ρ=0.80）；IgLM困惑度对热稳定性、结合、多反应性和免疫原性序列的胚系相关最强。纯序列模型较任何学习序列和结构的模型胚系相关更高；BioPython和PyRosetta几乎无相关。参数增加提高模型置信度与胚系信号相关。模型置信度与胚系编辑距离的相关显著高于其与适应度值的相关；在胚系序列适应度较高的数据集中AI可开发性预测性能更高，在胚系序列适应度较低的数据集中更低，物理模型无此趋势。偏相关消除胚系距离影响后，蛋白语言模型平均丧失37.4%表观适应度预测能力，物理模型仅丧失12.5%。AbLang-2的focal loss未较AntiBERTy标准掩码语言模型显示显著优势（36.4% vs 37.1%降低）。结果提示抗体预训练数据中胚系残基占优引入强偏倚；引入结构可减少该偏倚。
基准结果对统计显著性和小样本数据集敏感：将数据集纳入阈值从至少5个显著模型-数据集相关逐步提高至≥10、≥20、≥25时，223个数据集中分别保留113、56、11和4个；最佳总体模型随阈值变化：≥5为IgFold，≥10为ProGen2 Medium，≥20为AntiBERTy，≥25为IgLM。蛋白语言模型在表达（ESM2 150M、AbLang2）和结合（ProGen2 BFD90、AbLang2）上持续居前，ProGen2 Medium在各阈值均为最佳免疫原性预测器。提高阈值保留最稳健相关但牺牲数据量和多样性；≥25时仅剩一个表达、两个结合和一个多反应性数据集。按数据点n≥10、20、50设阈值时，表达（ESM2 150M）、药代动力学（DeepSP SCM+ CDR）、免疫原性（ProGen2 Medium）和热稳定性（Chai-1）的最佳零样本模型不变；结合（ProGen2 Medium、IgFold、ESM2 3B）、聚集（BP charge at pH 7.4、DeepSP SCM- Fv）和多反应性（BP charge at pH 7.4、BP aromaticity、DeepSP SAP+ CDR）的最佳模型改变。对5
-6），最小者为shanker2024unsupervised_APC-MFI_Elotuzumab-Ixekizumab（SD=0.02，n=6）。小样本基准结论应谨慎解释。
少样本结果（Few-shot results）：研究人员以预训练模型潜在嵌入进行监督少样本回归，检验模型是否隐含学习可开发性相关特征。所用数据集需满足至少5个显著数据集-模型相关，测试集大小为13至180；药代动力学和多反应性因缺乏足够显著相关和足够训练数据被省略。
少样本模型产生的显著相关性少于零样本：ESM2 8M显著相关最多，为30项，占全部数据集13%。模型平均对免疫原性73%、表达46%、结合9%、聚集4%、热稳定性6%、多反应性5%、药代动力学2%数据集显著相关。总体较少部分因可开发性数据集多小于100个数据点，导致训练/验证/测试划分小、性能差。
少样本学习改善所有可开发性类别性能：热稳定性最易（ρ=0.61），聚集最难（ρ=0.32）；由易到难为热稳定性>表达>免疫原性>结合>聚集。ESM2 3B和ISM 3B嵌入并列总体最佳（ρ=0.56）。类别最佳为：ISM uc30 650M预测热稳定性（ρ=0.75），ESM2 35M和ISM 3B预测表达（ρ=0.56），ISM uc30pdb 650M预测聚集（ρ=0.66），ISM 3B预测结合（ρ=0.61），ESM2 150M预测免疫原性（ρ=0.49）。结合预测随抗原变化，中位ρ从HA的0.75到HER2的0.36；HA在零样本中最差（ρ=-0.18）。高相似数据集的少样本性能范围宽（ρ=0.03–0.93），低相似数据集较中等（ρ≈0.32–0.61）。类别优势不泛化，如IgFold嵌入预测表达较好（ρ=0.54）但预测聚集差（ρ=-0.03）。最佳少样本模型优于最佳零样本模型；聚集在两设置中均困难，但少样本后热稳定性成为最易而非表达。少样本最佳模型跨显著性阈值更稳定（75%不变 vs 零样本63%），Precision@(k=5%、10%、20%)较零样本提高约2倍。
架构对少样本性能的影响大于零样本：掩码语言模型嵌入总体最佳（ρ=0.55）；独热编码模型与逆折叠模型和结构预测器相似。该结果不同于零样本中架构无显著影响。
学习到的表示对少样本性能无显著影响：结构信息掩码语言模型嵌入总体最佳，但ESM2 3B（纯序列）与ISM 3B（结构信息）相等（ρ=0.56），ISM uc30pdb 650M（ρ=0.54）与ESM2 650M（ρ=0.51）相似。IgFold多表示中，纯序列AntiBERTy嵌入最佳（ρ=0.48），其次为IPA（ρ=0.41）和图Transformer（ρ=0.40）；零样本中结构改善性能，而少样本中纯序列嵌入已足以获得有竞争力表现。
通用蛋白嵌入在少样本设置中优于抗体特异性嵌入：通用蛋白模型嵌入在各可开发性属性预测中占优，与零样本中通用和抗体特异性模型各有所长的格局不同。
独热编码在少样本预测中与十亿参数模型相当：增加模型规模未显著改善少样本性能；热稳定性、表达、聚集、结合和免疫原性中，独热编码与百万及十亿参数模型表现相当，说明有足够可开发性数据时简单模型可接近大型预训练蛋白模型精度。零样本和少样本均不需要十亿参数模型。
少样本模型较零样本模型丢失胚系偏倚：计算预测可开发性与胚系Levenshtein距离的Spearman相关，各属性相关变异大，部分为负相关，部分为ρ<0.3的中等相关；胚系偏倚不随参数量增加或减少，且较零样本显著降低。模型预测与胚系距离几乎无相关，提示模型不再依赖进化相似性推断可开发性，而学习到更直接关联实验标签的特征，从而改善预测。唯一持续保留明显胚系相关的是免疫原性，符合既往报道：偏离胚系越远的抗体免疫原性潜能越高。
讨论部分总结：该研究系统评测多样蛋白质AI模型预测抗体可开发性的零样本和少样本性能，指出各类别最佳模型，分析模型架构、蛋白表示、预训练数据组成和参数规模对性能的影响，并识别模型所学内容。研究人员提出建议：可开发性属性应分别考察，某一适应度任务表现好的模型未必适用于其他任务；将蛋白结构纳入学习表示可改善零样本和少样本性能并降低胚系偏倚；抗体特异性模型通常更佳预测结合亲和力和免疫原性，通用蛋白模型更佳预测热稳定性和表达；模型规模对零样本预测无显著影响；少样本数据少（<300条序列）时，可在大型十亿参数模型嵌入上训练多层感知机（MLP），数据多（>1,000条序列）时独热编码上训练MLP可能足够。讨论还指出当前基准局限：模型架构代表性不均，结构信息掩码语言模型较少且通用蛋白模型多于抗体特异性模型；部分数据集仅2–20条序列，统计功效弱并可能产生虚假相关；测定缺乏统一质量标准引入未量化噪声，限制预测性能理论上限；批次效应需关注，Jain2017与Ginkgo2025共享133条抗体用于HIC RT和SMAC RT，Kraft2019与Ginkgo2025共享49条用于HAC RT，Ginkgo2025报告批次间Spearman相关为0.97、0.91和0.92，Jain2017与Rosace2023共享adalimumab和golimumab的Tm但差异分别为13°C和7.6°C，可能反映IgG1与scFv形式及DSF与nanoDSF技术差异。未来可通过重复序列更好地合并数据集、将批次差异作为逐数据点不确定性。还可评估单/双/三突变等突变机制、低适应度训练与高适应度测试、机器学习设计序列与实验演化变体比较、成对变体排序、重/轻链嵌入分别评价、分层划分避免数据泄漏，并探索PLMFit、域适应、校准、LoRA、适配层和端到端微调、混合表示及整合实验反馈和物理信息。Hummer et al.估计训练准确结合亲和力预测器至少需90,000个计算ΔΔG值；免疫原性、聚集和药代动力学可能需更多数据，表达可能需较少。尽管FLAb2含数百万结合亲和力数据点，但多集中于2–3个抗原序列，难以复现Hummer et al.基于更大多样抗体-抗原复合物的结果。开放数据倡议如FLAb2可加速稳健计算预测器开发、提供可重复基准并指导改善可开发性的治疗性抗体设计，但仍需更多公开抗体可开发性数据。
研究结论部分翻译：可推广的零样本和少样本可开发性预测任务仍未解决。被评估的蛋白质AI模型依赖简化启发式——与胚系序列的距离和进化模式——而非捕捉抗体可开发性背后的生物物理机制；这些启发式不能在多样可开发性属性景观中泛化，反映其内部表示不完整。模型学习训练数据中的统计模式，而非支配折叠或功能的物理规律。认识这些局限凸显了设计能整合更丰富信息以改善泛化的模型的必要性。改进基准和可开发性预测器（oracles）需要更多可开发性数据；序列和结构本身不能捕捉治疗性抗体的全部适应度景观。理想的可开发性数据集应包含：抗体序列空间多样性，即许多克隆型和替换、插入缺失等多种突变类型；可开发性空间多样性，即包含可开发性好和差的抗体，目前差可开发性抗体数据有限；与胚系编辑距离低或高的抗体；以及在多个实验室或环境中重复测定以估计数据合并协变量效应的数据。公开数据倡议如FLAb2可加速稳健计算预测器开发、提供可重复基准并最终指导设计具有改善可开发性的治疗性抗体；但基准和训练未来可开发性预测器仍需比当前更多公开可得的抗体可开发性数据。持续发布抗体可开发性数据将借助全球抗体工程社区的创造力，显著改善抗体设计与筛选性能。
