《PLOS Computational Biology》：Scaffold-Lab: Critical evaluation and ranking of protein backbone generation methods in a unified framework
编辑推荐：
近年来，去 novo 蛋白质设计领域取得显著进展，其中蛋白质骨架生成仍是一项极具挑战性但极具价值的研究任务。然而，目前缺乏标准化的评估框架来准确衡量不同方法的性能，也未对其实际应用进行全面分析。针对这一现状，研究人员提出了 Scaffold-Lab——一个用于
近年来，去 novo 蛋白质设计领域取得显著进展，其中蛋白质骨架生成仍是一项极具挑战性但极具价值的研究任务。然而，目前缺乏标准化的评估框架来准确衡量不同方法的性能，也未对其实际应用进行全面分析。针对这一现状，研究人员提出了 Scaffold-Lab——一个用于系统性评估蛋白质骨架生成方法的统一框架，涵盖设计性、新颖性、多样性、效率及结构特性等多维度指标。研究人员对七种代表性方法进行了全面评估，详细分析了其性能表现与适用场景。研究结果表明，无条件生成长链蛋白质以及精准重建基序是当前大多数方法面临的核心瓶颈。这些发现既明确了现有蛋白质骨架生成方法的优势与局限，也为该领域的进一步发展提供了新思路。
该研究发表于《PLOS Computational Biology》，针对蛋白质骨架生成领域缺乏标准化评估体系的现状展开系统研究。当前计算蛋白设计虽已在序列设计与结构预测方向取得突破，但三维骨架生成作为直接操控拓扑结构的核心环节，仍因高维空间建模难度大、评估指标不统一导致方法间难以公平比较，且实验验证通量远低于计算生成速度，亟需统一的 in silico 评估框架支撑下游应用。为此，研究人员开发了 Scaffold-Lab 统一评估框架，将任务划分为无约束的无条件生成与有约束的条件生成（以基序支架构建为核心代表），对七种主流方法开展系统性测试，最终明确了不同方法的性能边界与应用场景，为该领域的方法优化与落地提供了关键参考。
研究采用的关键技术方法包括：构建覆盖设计性、新颖性、多样性、效率与结构特性的五维评估指标体系；采用自一致性 TM-score（sc-TM）与自一致性 RMSD（sc-RMSD）作为设计性核心判据，引入 Top N 策略与动态阈值提升评估鲁棒性；通过 Foldseek 比对 PDB 数据库计算 pdb-TM 衡量新颖性，结合设计性惩罚项优化评分逻辑；基于 Foldseek-Cluster 聚类结果定义多样性指标；采用 TOPSIS 多准则决策分析法结合 CRITIC 权重法完成方法排序；无条件生成按长度分为短、中、长三组，每组生成 100 条骨架，每条骨架设计 10 条序列并通过 ESMFold 进行结构预测；基序支架构建采用 24 案例基准集，额外测试了人工醛缩酶 RA95.5-8F 的活性位点支架任务。
研究结果如下：
无条件生成：设计性方面，所有方法在短链蛋白（≤300 残基）上成功率达 80% 以上，超过 300 残基后性能骤降，800 残基以上成功率不足 30%；RFdiffusion 凭借与预训练结构预测模型 RoseTTAFold 的整合，在全长度范围表现最优，动态阈值下的 AUC 值显著高于其他方法。新颖性方面，各方法 pdb-TM 集中在 0.6–0.7，无明显组间差异，但引入设计性惩罚后，长链组的评分显著降低，证实设计性与新颖性存在权衡关系。多样性方面，FrameFlow 多样性最低，RFdiffusion 随长度增加持续上升，800 残基以上接近最大值。效率方面，不同方法单骨架生成时间为数分钟级，远慢于蛋白序列设计的秒级速度。
结构特性分析：二级结构方面，多数方法生成的骨架中 α-螺旋占比超 50%，对结构化区域存在偏好，可能与训练集中环状结构占比较低有关；RFdiffusion 更倾向于生成全螺旋结构，长链下可生成更多样二级结构。回转半径（Rg）方面，多数方法生成蛋白比天然结构更紧凑，仅 Chroma 生成更伸展的骨架。结构有效性方面，RFdiffusion 的空间位阻冲突得分最低，Chroma 的键长键角异常比例最接近理想值，其余方法局部几何合理性仍有提升空间。
方法排序：基于 TOPSIS 的结果显示，短链蛋白中 FrameFlow 与 Genie 表现最优，长链蛋白中 RFdiffusion 优势显著，无单一方法在所有长度组均领先，需根据应用场景灵活选择。
基序支架构建：RFdiffusion 平均成功率达 40%，GPDL 与 TDS 生成的骨架多样性更高；不同案例难度差异显著，2KL8 等案例多数方法均可完成，4JHW 等案例则普遍失败。失败模式分析表明，基序重建失败占失败案例的主导地位，其次为整体失败，支架设计失败占比极低，证实整体结构的物理合理性是条件生成的前提。针对人工醛缩酶 RA95.5-8F 的活性位点支架任务，基础版方法均无法生成有效结果，经催化位点微调与底物信息引入的 RFdiffusion-enzyme 版本成功率达 20%，凸显了专用优化策略的重要性。
讨论部分指出，当前领域的两大核心挑战是短链蛋白的多样性提升与长链蛋白的设计性优化，基序重建仍是条件生成的主要瓶颈。未来需进一步明确条件生成问题的定义，开发定制化训练策略，同时提升推理效率、拓展复合物与动态骨架生成能力。研究中发现的螺旋偏好与环状区域建模不足，可通过扩充训练数据与优化结构表征方式缓解。该框架为高通量筛选可设计骨架提供了标准化工具，将加速计算蛋白设计向湿实验转化的进程。
