超越单链预测：利用连续自动化模型评估（CAMEO）平台对大分子复合物预测方法进行系统性基准测试

本综述系统介绍了CAMEO平台如何通过自动化、盲法基准测试推动大分子复合物（蛋白质、核酸及配体）结构预测领域的发展。文章详细阐述了其靶点选择机制、评估指标（如LDDT、iLDDT）、基线方法（AlphaFold 3、SWISS-MODEL等）及创新性网站功能，为方法开发提供了关键数据支持和标准化评估框架，显著促进了对复杂组装体预测准确性的客观比较与技术进步。

　　

ABSTRACT

独立、盲法的结构预测方法评估对于确立最新技术水平、识别局限性及指导未来发展至关重要。连续自动化模型评估（CAMEO）平台通过每周对结构预测服务器进行自动化基准测试，对两年一度的蛋白质结构预测关键评估（CASP）实验形成了重要补充。

1 Introduction

2020年AlphaFold 2的发布非但没有终结三维生物分子结构预测研究，反而标志着3D建模新纪元的开启，研究焦点从单链蛋白质结构预测转向了大分子复合物和组装体的预测。为响应这一演变，CASP15引入了RNA结构预测、蛋白质-配体复合物及寡聚靶标模型准确性评估等新类别。CASP每两年组织一次，汇集专家在双盲设置下使用数百个预测靶标进行独立评估，并在会议中集中讨论比较预测方法。

随着结构预测领域的持续演进，对系统且无偏基准测试的需求依然至关重要。然而，由于数据集、评估指标和方法学假设的变异性，实现公平比较颇具挑战。为支持自动化服务器方法的开发，在CASP赛季间进行更频繁、基于更大数据集的基准测试对于验证假设和加速开发周期至关重要。自2012年以来，CAMEO平台通过提供每周独立、盲法的结构预测服务器评估填补了这一空白。它利用蛋白质数据库（PDB）的两阶段更新周期，在实验结构发布前选取靶标并分发给参与服务器。参考结构一经发布，便使用一系列捕获结构准确性不同方面的社区公认指标对预测进行评估。

为确保公平比较，CAMEO同时评估所有服务器，保证每种方法都能获得相同的背景信息（包括序列和模板数据）。所有结果（包括预测、参考结构和评估分数）均公开可用，允许方法开发者追踪性能并将数据用于训练和验证。开发者可将其方法注册为公开或开发服务器，从而在早期测试阶段进行匿名基准测试。为支持可重复性和历史比较，CAMEO鼓励参与者在发布新版本的同时保留旧版服务器。

本文介绍了CAMEO的最新进展，反映了该领域对大分子复合物日益增长的重视。CAMEO已将其范围扩展至包含由蛋白质、核酸和小分子配体组成的完整复合物。确定此类复合物的新颖性仍是一个开放挑战。尽管已有基于现有结构信息的方法被提出，但这些数据在靶标提交时对CAMEO不可用。为此，CAMEO采用基于序列一致性和聚类的自动化程序来检测新颖性并对靶标进行分类。同时，引入了新的基线方法，以在更广泛的预测任务中进行基准测试。CAMEO网站也经过重新设计，以更好地可视化不同靶标类型上的服务器性能。所有基准测试结果均可在cameo3d.org获取。

2 Results

2.1 Target Selection

CAMEO利用蛋白质数据库（PDB）的两阶段更新程序，每周对注册的预测服务器进行独立、盲法基准测试。每周六（阶段1）下载新PDB条目列表。CAMEO靶标定义为完整的大分子复合物，包括所有聚合物（核酸或氨基酸）和非聚合物（配体）实体。

为识别有意义的建模挑战，CAMEO过滤并聚类序列以避免冗余，然后在复合物水平聚合聚类结果。将这些聚类条目与最新的公共PDB发布进行比较以评估新颖性。由于尚无仅基于序列确定复合物新颖性的标准方法，CAMEO结合使用序列相似性和聚合规则将靶标分类为“简单”、“中等”或“困难”。包含新颖配体环境的简单靶标被进一步标记为“配体”靶标。此分类的一个结果是，靶标中的所有序列可能在PDB中具有高序列一致性的模板；然而，如果它们未曾在同一复合物中被观察到 together，我们则认为该复合物有趣并将其发送给CAMEO参与者。

2.2 Benchmarking Challenges

CAMEO参与者可根据其服务器能力订阅特定靶标类别（“配体”、“中等”或“困难”）。他们也可选择仅接收蛋白质、DNA或RNA序列，或选择接收完整非规范序列以处理非标准化合物。为方便前CAMEO参与者过渡，只能一次建模一个序列的服务器可以接收仅包含单个序列的条目。

在大分子复合物的背景下，化学计量学是指生物相关组装体中存在的每种分子组分（如蛋白质、RNA、DNA链和小分子配体）的数量和身份。CAMEO的一个关键挑战是此信息在PDB预发布中不可用，这意味着预测方法必须在没有先验知识的情况下推断复合物的完整组成。正确建模复合物组成的方法通过化学计量学感知指标（如LDDT、iLDDT）获得奖励，这些指标会惩罚缺失的链。为支持对结果的公平解释，CAMEO还提供化学计量学无关变体（映射LDDT和映射iLDDT），它们仅评估正确预测的链。这种双重评分方法使用户能够区分结构准确性错误和复合物组成错误，同时仍鼓励开发能够建模完整组装体的方法。

参与者必须在预测窗口结束前（UTC时间星期三00:00，即PDB每周更新的阶段2新发布条目可用时）通过电子邮件提交其对复合物完整原子模型的预测。CAMEO支持与CASP16相同的预测格式，确保了与现有工作流程的兼容性。

2.3 Comparison to Reference Baselines

为便于解释基准测试结果并为评估预测方法的性能提供背景，CAMEO包含了几个参考基线。对于含配体的靶标，采用了三个基线工作流程。其中两个基于开源流程，该流程结合了SWISS-MODEL（用于生成初始蛋白质复合物模型）和基于物理的AutoDock Vina（用于配体对接）。这两个变体在其评分函数上有所不同，分别使用vina或autodock4评分方案，代表了典型的开源对接工作流程。第三个基线将SWISS-MODEL与基于物理的Schr?dinger Glide集成，代表了商业对接解决方案。这些基线均未包含口袋预测步骤，因此产生了保守的性能估计。此外，它们天真地选择SWISS-MODEL中的排名最高模型（通常基于AlphaFold数据库中的结构）。如我们先前工作所示，基于物理的方法始终无法将配体对接到AlphaFold模型中。因此，这些工作流程旨在作为下限参考，更先进方法的改进应能轻易观察到。

除了这些配体特异性基线，AlphaFold 3（版本3.0.1）被用于为所有靶标生成模型，包括那些包含核酸序列的靶标。这为所有靶标类型提供了一致且全面的基准。AlphaFold 3预测在生成时假定每条链只有一个拷贝，因为在靶标提交时无法获得化学计量学信息。这些基线共同建立了一个用于比较评估的稳健框架，能够识别新兴预测方法的优势和局限性。

2.4 New Website

为展示新挑战的基准测试结果，我们重新设计了CAMEO网站服务器。图1显示了主结果页面的截图。

2.4.1 Common Subset Comparisons

根据其订阅情况，服务器接收不相交的靶标集合。此外，它们可能并未为所有接收到的靶标构建模型。因此，简单比较给定时间范围内所有靶标的平均值是没有意义的。为此，默认仅显示预测总数，并且我们提供基于靶标公共子集比较服务器的工具。在列表中选择一个服务器将自动显示该服务器在该时间范围内预测的所有靶标的结果，并列出与其他服务器重叠的靶标数量。选择其他服务器会进一步限制公共子集并调整所有服务器的结果。用户仅当重叠靶标的公共子集足以提供有意义的统计时才应进行比较。

CAMEO显示了一系列衡量蛋白质结构预测准确性不同方面的分数，并不在方法间建立单一独特的排名。CAMEO的重点始终是全原子分数，以捕捉参与者准确建模蛋白质（包括生物学相关的蛋白质侧链构象）的能力。此外，由于CAMEO是完全自动化的工作流程，无需人工干预，我们一直专注于无叠加分数，这减轻了手动将蛋白质拆分为评估单元的需要。分数计算（包括链和配体映射）使用OpenStructure执行。默认情况下，所有分数都会惩罚错误或缺乏化学计量学预测导致的缺失链和配体。LDDT分数（局部距离差异测试）是一种全原子、不依赖于叠加的分数，通过报告模型在不同阈值水平上正确预测的原子间距离的比例来评估蛋白质或核酸预测的局部准确性。LDDT惩罚模型中的缺失残基和链，并应用立体化学违规和空间冲突的过滤器。此外，我们显示LDDT（映射链）分数，它减轻了对缺失链的惩罚。LDDT通常由链内残基主导。

iLDDT（界面LDDT）是LDDT的一种变体，仅报告链间接触以评估聚合物-聚合物界面的准确性。由于LDDT的距离差异阈值相对较小，iLDDT对界面预测中的即使很小错误也非常敏感。这种敏感性应能捕捉到高精度界面预测方法中的微小改进，但无法区分中度错误到完全错误的界面。TM-score是一种仅针对主干链的分数，依赖于全局叠加来评估复合物的整体准确性。它通过专注于最大化正确预测区域的对齐来减轻异常区域的影响，通过将错误区域视为异常值来限制其影响。TM-score包含一个缩放因子d₀以独立于蛋白质长度。因此，对于大型寡聚复合物，即使TM-score很高，局部准确性也可能相当低。

除了聚合物链的分数，我们还提供评估配体姿态准确性的分数。LDDT蛋白质-配体界面（LDDT-PLI）是LDDT的一种变体，用于评估聚合物-配体接触的准确性。最后，成功定义为在结合位点叠加和对称校正（BiSyRMSD）后RMSD < 2 ?的配体预测。

2.4.2 Target Details

靶标详情页面（图2）显示单个靶标及其预测（模型1）的详细信息。在靶标的一般信息下方，页面列出了所有聚合物（包括序列长度和覆盖度）和非聚合物实体，以及关于组装体（数量和寡聚状态）的信息。服务器表显示了从每个服务器接收的模型1预测，以及有关响应时间、寡聚状态和分数的信息。配体分数按加权平均值聚合。选择服务器后，3D模型将显示在下方的3D查看器中。默认情况下，模型按服务器进行颜色编码，与服务器表匹配。下拉框允许用户切换到按残基LDDT分数。

2.4.3 Downloads

提供不同时间范围的数据下载。它们包含靶标和预测数据、所有模型的结果以及网络界面上未显示的其他分数。

这些下载还允许用户对未包含在CAMEO中的方法进行事后基准测试。

2.5 Data Analysis

在本研究中，我们分析了基线预测器和CAMEO参与者在76周期间（2024年1月6日至2025年6月14日）在两个主要挑战上的表现：蛋白质-配体和蛋白质-蛋白质复合物预测。在23629个新PDB条目中，12205个被选为有趣靶标：2106个“中等”，3266个“困难”，6833个“配体”。表1总结了这些类别中的分子实体类型。

2.5.1 Protein-Ligand Complex Prediction

使用PLINDER注释和Runs N′ Poses相似性定义，我们分析了6833个配体靶标，其中6441个映射到PLINDER，产生17322个配体。排除392个具有金属复合物或已废弃条目的非映射靶标（710个配体）后，配体被分为五组：“类药”配体（满足Lipinski五规则且出现在少于100个PDB条目中，n=4141）；“辅因子”（n=1493）；“离子”（n=4693）；和“ artifacts”（n=4804），如缓冲液分子或结晶沉淀剂。其余2191个不属于任何类别的配体被标记为“其他”，主要包括代谢物、糖类和脂质。我们收集了基线服务器的结果，这些服务器在公共子集中预测了4864个靶标（12108个配体），并分析了每个靶标的排名最高模型的结果（图3）。这里，我们取每个配体实体的最佳评分姿态；因此，我们没有惩罚未预测同一实体的多个拷贝。

对所有实体的总体分析显示，AlphaFold 3的性能显著优于其他基线预测器（图3A）。在检查个别类别时，虽然AlphaFold 3在大多数配体类别中始终优于其他方法，但它在预测 artifacts 时准确性降低（图3B）。有趣的是，其最佳表现出现在预测辅因子姿态时，这可能是由于PDB中丰富的辅因子数据，其他研究也显示了这一点。在分析CAMEO中另一种深度学习方法RoseTTAFold All-Atom的预测时也观察到类似情况，尽管是在较小的配体子集上。尽管AlphaFold在类药组上的性能优于其他方法，但约40%的成功率显著低于在PoseBusters数据集上报告的结果。

此外，我们评估了基线预测器在类药配体不同预测难度水平上的表现（图3C）。预测难度基于与2021年9月30日前发布的PDB中实验结构的相似性定义（这些结构可作为AlphaFold 3的训练数据），较低相似性表示较高难度。我们的分析显示，尽管AlphaFold 3在所有难度水平上都优于其他基线预测器，但其性能仍然与其训练集的相似性密切相关。有趣的是，我们还发现模板和基于物理的方法的性能也与AlphaFold 3训练集的相似性相关。这表明，即使蛋白质靶标被认为是“简单”（这是此CAMEO类别的情况），如果配体结合到替代蛋白质口袋或蛋白质结合口袋采用PDB中未曾见过的独特构象，也会出现挑战。在使用LDDT-PLI分析蛋白质-配体相互作用准确性时也观察到类似趋势（图3D）。

该分析表明，虽然AlphaFold 3在大多数配体类别中始终优于传统对接基线，但其性能仍然紧密依赖于其训练数据中相似结构的可用性，特别是对于类药配体。这突显了CAMEO连续、盲法基准测试框架的重要性，它暴露了泛化的局限性，并有助于识别当前方法在处理新颖配体环境或替代结合位点构象时遇到困难的情况。通过系统地捕捉此类边缘情况，CAMEO为指导开发更稳健、可泛化的配体建模方法提供了宝贵资源。

2.5.2 Protein–Protein Complex Prediction

我们分析了基线预测器和参与者在不同类别蛋白质-蛋白质复合物上的表现。排除具有DNA和RNA实体的靶标后，困难和中等类别中有4482个靶标。在此分析中，我们还排除了1080个单体靶标，并将其余3402个靶标分为三类：抗体（包括可映射到结构抗体数据库SAbDab的靶标，n=866）；同源寡聚体（n=1313）；和异源寡聚体（不在抗体类别中，n=1223）。我们将AlphaFold 3基线服务器的排名最高模型的结果与三个CAMEO参与者（MultiFOLD、MultiFOLD2和SWISS-MODEL）在516个靶标的公共子集上的结果进行了比较（图4）。如挑战部分所述，PDB预发布中没有关于复合物化学计量学的信息；因此，不预测化学计量学的方法会受到某些分数的惩罚。为解决此问题，我们的分析采用了“化学计量学感知”指标（LDDT和iLDDT，图4A,C）及其“化学计量学无关”版本（映射LDDT和映射iLDDT，图4B,D）。

使用LDDT对复合物整体结构预测的分析显示，MultiFOLD和MultiFOLD2在同源寡聚体类别中优于SWISS-MODEL和AlphaFold 3，这主要归因于它们预测复合物化学计量学的能力（图4A）。尽管SWISS-MODEL可以使用PDB模板中的化学计量学信息，但它似乎主要选择单体AFDB模型进行同源建模，这在该类别的映射LDDT上显示出良好建模的个体实体（图4B）。在异源寡聚体类别中也观察到类似情况，MultiFOLD和MultiFOLD2仍然优于SWISS-MODEL和AlphaFold 3，尽管两者在该类别的性能略优于同源寡聚体类别，因为异源寡聚体中每个实体只有一条蛋白质链（133个靶标中有62个此类情况）。在抗体类别中这一点更加明显，108个靶标中有75个每个实体只有一条蛋白质链。因此，AlphaFold 3在此类别中实现了与MultiFOLD2相似的性能（两者中位LDDT=0.81），并略微优于MultiFOLD（中位LDDT=0.78）。

在使用iLDDT分析界面预测时也观察到类似的服务器性能趋势（图4C,D）。单体预测在同源寡聚体类别中没有定义的映射iLDDT值（图4D）。因此，AlphaFold 3没有数据点，SWISS-MODEL的数据点（n=60）也少于MultiFOLD（n=198）和MultiFOLD2（n=168）。总的来说，我们观察到界面的建模准确性低于整体结构（图4A,C），即使不考虑化学计量学（图4B,D）。

该分析表明，能够建模化学计量学的蛋白质-蛋白质复合物预测方法（如MultiFOLD和MultiFOLD2）在同源和异源组装体中比AlphaFold 3等基线实现了更高的准确性。后者在抗体相关靶标中表现最佳，这些靶标通常涉及单个结合界面。这些发现强调了不仅评估结构准确性，而且评估预测组装体完整性的重要性。通过结合化学计量学感知和化学计量学无关指标，CAMEO能够对预测方法进行细致评估，并支持开发能够处理大分子组装体全部复杂性的工具。

3 Methods

3.1 Target Classification

初始CAMEO靶标集包含PDB中每个新发布的条目。预发布数据于每周六从wwPDB网站下载。它包含每个聚合物实体（蛋白质、RNA或DNA）的非规范序列，以及每个非聚合物（小分子配体）实体的化学组分ID、SMILES和InChI代码（寡糖除外）。CAMEO靶标是PDB预发布中的整个大分子复合物（条目），包括其所有实体。每周从该集合中选择有趣的建模靶标。

在当前设置中，如果任何聚合物序列包含在PDB化学组分词典中没有母体氨基酸或核酸的修饰残基，是核酸和氨基酸残基的混合物，无法从序列中明确指定为DNA、RNA或蛋白质，或包含标记为“未知”或非连接残基，则排除该靶标。单个聚合物实体被分类为蛋白质（30个或更多残基的氨基酸序列）、肽（短于30个残基的氨基酸序列）、DNA或RNA。

然后，使用CD-HIT版本4.8.1在99%序列一致性下对蛋白质序列进行聚类。肽、RNA和DNA序列在100%序列一致性下聚类。然后将单链聚类聚合到复合物，并且包含相同单序列聚类集合的靶标被聚类在一起。按PDB ID字母顺序对聚类中的条目进行排序，并使用聚类的第一个条目作为代表。

为对靶标进行分类，我们首先使用BLAST+版本2.2.31在PDB中搜索相似的聚合物序列。如果蛋白质序列与模板的序列一致性达到85%或更高，至少70%的靶标序列被模板覆盖，并且对于长于250个残基的靶标序列，靶标-模板比对中未覆盖的靶标氨基酸少于45个，则该蛋白质序列对于给定模板被标记为“简单”。如果蛋白质序列与模板的序列一致性低于85%但e值小于或等于10^-4，并且满足相同的覆盖要求，则被标记为“中等”。所有其他蛋白质序列被标记为“困难”。肽、DNA和RNA序列如果与模板的序列一致性为100%且完全覆盖，则被标记为“简单”；否则标记为“困难”。

为推导条目的分类，我们寻找覆盖复合物所有实体的模板。如果找到的模板覆盖所有单个序列为“简单”，则复合物被分类为“简单”；如果复合物不是“简单”，但找到的模板对所有单个序列要么是“简单”要么是“中等”，则被分类为“中等”；如果至少一个序列只能映射到“困难”模板，或未找到覆盖整个复合物的模板，则被分类为“困难”。“简单”靶标被进一步研究以寻找适合配体建模挑战的靶标。如果没有任何“简单”模板包含相同的配体集合，则该靶标被分类为“配体”靶标。这也扩展到每个聚类条目。

3.2 Baselines

3.2.1 SWISS-MODEL and AutoDock Vina

蛋白质-配体靶标被发送到组合的SWISS-MODEL和AutoDock Vina工作流程。首先，通过API调用将蛋白质序列发送到SWISS-MODEL。按全局模型质量估计（GMQE）排名最高的模型用作后续对接的受体。使用Reduce版本4.13添加氢原子，并使用ADFR Suite版本1.0中的prepare_receptor脚本准备受体。使用RDKit版本2021.03.4从SMILES转换配体；移除电荷，并添加质子化。使用RDKit“EmbedMolecule”获得配体的初始3D构象，并使用Meeko中的mk_prepare_ligand.py进一步准备配体。运行AutoDock Vina版本1.2.5， exhaustiveness为32，并使用包含整个蛋白质受体的盒子。不执行结合位点检测。提供两种风味的AutoDock，分别使用vina或ad4（AutoDock4）评分函数。姿态排名由AutoDock执行。

3.2.2 SWISS-MODEL and Schr?dinger Glide

蛋白质-配体靶标被发送到组合的SWISS-MODEL和Schr?dinger Glide工作流程。蛋白质受体模型的获取方式与SWISS-MODEL和AutoDock Vina对接工作流程中描述相同。使用Schrodinger Suites版本2023-3（截至2024年9月）或2024-3（自2024年10月起）执行对接。使用LigPrep准备配体SMILES，使用Epik Classic进行电离和互变异构，pH容差为1，每个配体最多16个立体异构体。使用Prepwizard准备受体，使用-rehtreat选项。然后运行Glide，使用跨越整个受体蛋白质的网格，以及XP精度。根据glide输出中的PoseRank对姿态进行排名。

3.2.3 AlphaFold 3

所有包含蛋白质、RNA、DNA和配体的靶标均使用AlphaFold 3版本3.0.1处理，使用5个种子。PTM作为CCD化合物ID发送。模型按“ranking_score”排名。由于提交时缺乏化学计量学信息，假定复合物包含每条链（包括配体）的单个拷贝。

3.3 Evaluation

CAMEO评估在实验结构由PDB发布后每周进行。仅使用源自溶液NMR、X射线衍射或高分辨率（≤4.0 ?）EM结构的结构作为评估的参考，并且排除非常大的复合物（聚合物链总数>200，或单一实体链数>100），这些复合物的评分无法在合理时间内计算。

评分由OpenStructure（撰写时为版本2.9.2）执行。如CASP中一样，假定模型根据靶标序列编号（基于1），偏差将导致低分。PDB中的结构条目可提供多个潜在的生物组装体，模型最初针对靶标的所有生物组装体进行评分。然后针对产生最高LDDT的组装体报告聚合物分数。针对产生最多评分配体数量的组装体报告配体分数。如果出现平局，则报告导致更高LDDT-PLI总和或更低BiSyRMSD总和的组装体。LDDT-PLI按加权平均值聚合，权重因子为配体中除氢外的重原子数。这防止离子主导平均分数。RMSD用于计算成功率。如果BiSyRMSD < 2.0 ?，则配体预测被视为成功，成功次数除以靶标中的配体总数。网络界面上报告第一个模型（模型1）的分数，奖励正确评估其预测准确性的方法。其他模型的分数以及其他分数可在完整数据下载中获得。提供了聚合物链分数的变体，其中在初始评分整个参考和模型复合物后，仅重新计算最初映射的链上的分数，减轻了对无法预测化学计量学的方法缺失链的惩罚。类似地，提供了仅考虑每种类型配体最佳预测的配体分数，以及不同阈值（1、2和5 ?）下的BiSyRMSD成功率和每个配体的分数。

4 Conclusion

结构预测方法（尤其是基于深度学习的方法）的快速发展，产生了对新颖数据进行连续、无偏基准测试的迫切需求。静态数据集（如PoseBusters和Runs' N′ Poses）正迅速被纳入训练流程，限制了其独立评估的效用。在此背景下，CAMEO通过使用PDB新发布的实验结构每周对结构预测方法进行盲法基准测试，发挥着关键作用。此自动化框架使开发人员能够实时评估其方法，并支持预测算法的迭代改进。通过明确评估化学计量学（通过惩罚缺失链和奖励完整组装体的分数），CAMEO鼓励开发能够准确建模大分子复合物完整组成的方法。

结构预测中仍然存在几个开放挑战，可以利用PDB预发布中的数据来解决。例如，肽预测的基准测试，尤其是短肽（通常包含修饰残基或非标准氨基酸），将需要新的预测算法以及新的评分基准测试方法。为更好地对核酸预测进行基准测试，需要开发评估RNA和DNA难度的稳健方法。翻译后修饰（PTM）预测的评分隐含在LDDT分数中。然而，该分数由大量“标准”接触主导，需要开发更敏感的分数来捕捉PTM的影响。最后，需要解决模型质量估计的评估（由预测方法自身以及独立模型评估方法进行）。CASP15和CASP16已提出新的方法和格式。尚待观察如何将类似挑战纳入CAMEO。

本手稿报告了几项CAMEO未常规执行的详细分析，例如配体类别细分。我们正在考虑将此类详细分析纳入CAMEO网站的方法。CAMEO中的靶标难度分类定期更新，以反映当前建模方法的范围，从而为参与方法提供有趣且具有挑战性的靶标，以促进进一步发展。

自2021年发布AlphaFold 2和ColabFold以来，许多最先进的3D结构预测方法已作为独立工具或笔记本提供，而非预测服务器。AlphaFold 3服务器包含若干使用限制，并未提供用于靶标提交的自动化接口。此外，许多深度学习预测方法的开发者没有计算资源向公众提供服务器。我们正在评估基准测试可执行工作流程和笔记本而非服务器以在CAMEO中进行评估的方案。

许多成功的CASP参与者通过在其系统内基准测试其服务器或将其性能与CAMEO参考数据进行比较，利用了CAMEO。我们鼓励方法开发者将其方法注册到新版本的CAMEO。CAMEO平台旨在提供自动化基准测试服务和训练数据，并促进开发者之间在两年一度的CASP会议期间进行讨论、协作和交流，以促进开发下一代技术来解决结构预测中剩余的挑战。