《IUCrJ》：AXIS: a Lab-in-the-Loop machine learning approach for automated detection of macromolecular crystals
大分子晶体学（MX）生物大分子晶体学与其他技术如冷冻电镜（cryo-EM）、核磁共振波谱（NMR）或基于人工智能（AI）的折叠预测相结合，可用于研究蛋白质结构与功能，为理解生物过程提供机制性认识。这有助于建立支撑对生命健康与疾病状态理解的基础知识，并可为新型疗法的开发及生物技术应用提供信息（Helliwell, 2017; Whittle & Blundell, 1994）。自动化已几乎被引入MX实验流程的所有步骤，从晶体培养到衍射数据采集与处理，目前已有高度自动化的蛋白质-结构解析流程可供使用（Rupp et al., 2002; Cipriani et al., 2006; Cusack et al., 1998; McCarthy et al., 2018; Bowler et al., 2015; Zander et al., 2016; Cornaciu et al., 2021; Schwalbe et al., 2024; Lynch et al., 2023; Mikolajek et al., 2023; Healey et al., 2021）。近期，新技术的发展已实现基于X射线的高通量配体与片段筛选，使基于结构的药物设计方法得以普及（Cox et al., 2016; Thomas et al., 2019; Cornaciu et al., 2021; Münzker et al., 2020; Barthel et al., 2024; Douangamath et al., 2021; Guenther & Meents, 2025），同时也推动了动态及时间分辨系统的研究（Schlichting, 2015; Stauch & Cherezov, 2018; Mehrabi et al., 2019）。
在任何应用场景中，MX都需要制备具有高衍射能力的晶体。这通常是一个复杂的过程，需要进行大量结晶实验并对其进行评估。最常用的结晶技术为所谓的气相扩散法，即在不同化学和物理条件下加入温和的沉淀剂使生物大分子溶液达到过饱和，最终形成晶体（McPherson, 2017; Bergfors, 2021）。然而，也可采用多种替代结晶方法，例如批量法、油下微量分批法或使用微流控装置等（de Wijn et al., 2019; Lynch et al., 2023; Pachl et al., 2025; Budziszewski et al., 2025; Bergfors, 2021）。对于从未被结晶的分子，其结晶条件难以预测，因此有必要筛选不同类型的沉淀剂（如盐和聚合物）以及不同的实验参数（如pH、离子强度、温度等），这导致需要进行大量需单独评估的结晶实验（McPherson, 2017; Newman et al., 2005; Bergfors, 2021）。此外，晶体可能需要数小时至数天甚至数周才能形成。在此期间，每个实验需多次进行视觉检查以观察晶体材料的出现。初步筛选实验通常有助于确定起始结晶条件，然后通过涉及新结晶实验和视觉检查的迭代过程进行优化。另一方面，配体和片段筛选等应用需要鉴定数百个晶体。因此，晶体学项目需要定期检查数百至数千个结晶实验。
目前，结晶通常使用专用机器人并以96孔板格式进行（Newman et al., 2005）。自动化晶体培养箱可容纳数十至一千块96孔结晶板，在控温条件下定期对每个结晶液滴进行成像（Chayen & Saridakis, 2008; Stock et al., 2005; Dimasi et al., 2007; Cornaciu et al., 2021）。例如，在EMBL格勒诺布尔高通量结晶（HTX）平台，典型的结晶筛选实验涉及六块96孔板，其中每种样品在三种不同浓度下测试576种不同结晶条件。这导致1728个独立实验在数周内被自动成像九次（Dimasi et al., 2007; Cornaciu et al., 2021）。图像及结晶参数由晶体学信息管理系统（CRIMS）（Cornaciu et al., 2021; Healey et al., 2021）收集，并通过基于网络的界面呈现给用户以评估结果。因此，一个典型实验将产生15,552张需单独评估的图像。由于这种方法的迭代性质，研究人员在项目进行过程中会开展多次此类实验，依次或并行改变温度、构建体设计等参数，可能产生数十万张图像。其他结晶设施采用不同方法，例如美国布法罗Hauptman-Woodward研究所的国家结晶中心采用微批量油下法在1536孔板中进行高通量结晶筛选（Budziszewski et al., 2025）；澳大利亚CSIRO的协作结晶中心（C3）应用气相扩散法；英国Diamond光源的VMXI光束线使用气相扩散法并直接从原位晶体收集衍射数据（Sanchez-Weatherby et al., 2019）。用于膜蛋白分析的专用流程（如脂立方相法或基于微流控芯片的方法）也已问世（Cherezov et al., 2004; Healey et al., 2021; Günther et al., 2025; Saha et al., 2025）。欧洲使用上述不同方法组合的结晶设施列表见https://instruct-eric.org/platform-type/crystallisation）。尽管方法存在差异，这些设施都产生大量结晶实验，通常使用自动化成像设备来检查和评估结果。因此，从结晶图像中自动识别晶体具有重要价值，尤其在初始结晶筛选阶段。另一方面，片段筛选项目涉及使用已优化的结晶条件生成数百至数千个结晶实验（Münzker et al., 2020; Cornaciu et al., 2021）。自动化晶体收获系统已得到开发（Deller & Rupp, 2014; Zander et al., 2016; Cornaciu et al., 2021），其与自动化晶体检测相结合可能实现完全自主的晶体检测与安装，从而提高高通量晶体学应用的效率。
目前，结晶图像中的晶体识别主要依赖视觉检查，这可能是一项困难的任务。晶体可呈现非常不同的形态，可能与无定形沉淀、相分离或其他部分遮挡晶体的物体同时出现。另一方面，自动化系统拍摄的图像中非常小的晶体或微晶材料可能难以检测。因此，即使是训练有素的研究人员也可能因固有困难或长时间评估导致的注意力下降而未能识别晶体（Bruno et al., 2018）。事实上，研究表明当面对同一组结晶图像时，多个晶体学家对多达30%的图像评分可能存在分歧（Bruno et al., 2018; Wilson, 2002）。
已有多种使用不同方法且具有不同性能水平的计算工具被提出用于结晶显微图像的自动评分（Wilson, 2002; Cumbaa & Jurisica, 2010; Cumbaa et al., 2003; Bern et al., 2004; Saitoh et al., 2005; Liu et al., 2008; Pan et al., 2006）。在一项标志性的协作研究中，结晶结果机器识别（MARCO）倡议汇编了包含来自五个不同实验室的493,214张结晶图像的大型数据集（Bruno et al., 2018; Rosa et al., 2023）。这些图像被分为四类（"晶体"、"沉淀"、"澄清"和"其他"），并使用基于Inception-v3架构的深度卷积神经网络（CNN）进行训练以实现自动分类，实现了91%的晶体召回率和94%的总体准确率（Bruno et al., 2018）。近期，一种新的晶体图像分类器CHiMP-v2已被开发（King et al., 2024）。在此项工作中，ConvNeXt-Tiny图像视觉模型（Liu et al., 2022）首先在MARCO数据集上训练，然后在Diamond光源VMXi光束线的11,167张本地图像上训练（Sanchez-Weatherby et al., 2019）。该分类器使用与MARCO模型相同的类别，实现了82%至90%的晶体召回率和65%至70%的精确率（King et al., 2024）。在该系统的改进版本CHiMP检测器中，四个类别被合并为"晶体"和"非晶体"两个类别，实现了92%至95%的晶体检测率，但精确率较低，为33%至44%（King et al., 2024）。然而，研究发现当这些模型应用于本地数据集时性能会下降。同时，通过使用有限数量的本地生成图像重新训练模型可以改善性能（Rosa et al., 2023）。但许多设施缺乏收集、注释和训练机器学习模型以适应本地条件的资源和专业知识。值得注意的是，这些系统均未探索将紫外成像用于基于机器学习（ML）的晶体检测，尽管紫外成像能力在许多结晶设施中已较为普及。
在机器学习分类中，召回率（recall）和精确率（precision）（定义见第3节）相互关联，需要平衡以实现最佳性能。晶体识别需要极高的召回率（假阴性数量低）。召回率通常可以通过牺牲精确率来提高，但精确率越低，引入的假阳性就越多，降低了分类器的价值。这在结晶实验数据高度不平衡（90%以上图像不含晶体）的情况下尤为重要，当精确率中等时可能导致大量假阳性。结晶图像分类工具存在的另外两个问题是：需要大量训练数据集，以及应用于本地基础设施来源的图像时性能下降。晶体学设施使用不同类型的结晶板和成像设备，采用不同的照明和成像设置等，所有这些都会影响机器学习分类的性能（Rosa et al., 2023）。
人工智能（AI）的最新进展彻底改变了计算机视觉领域，包括视觉变换器（vision transformers）（Dosovitskiy et al., 2021）、大型计算机视觉模型（Oquab et al., 2024）和先进的迁移学习技术（Hu et al., 2022; Zhuang et al., 2019）的发展，为结晶图像分类开辟了新机遇。在此项工作中，研究人员提出了AXIS，即基于AI的晶体识别系统，整合了现代计算机视觉模型、最先进的迁移学习技术和用于迭代学习的实验室闭环（Lab-in-the-Loop）方法。该系统可评估可见光和紫外结晶图像，并在来自不同来源的数据集上实现非常高的性能。基于网络的CRIMS实验室闭环模块使研究人员能够整合来自专家晶体学家的联邦输入，基于新的实验数据进行持续微调。该方法为晶体识别提供了基础模型，并能够以最小的努力实现向本地条件的快速适应，帮助设施在其特定条件下获得最佳性能。
大分子晶体学（MX）是解析蛋白质结构与功能、揭示生物过程分子机制的核心技术，在药物设计中具有重要应用价值。近年来，机器人系统在晶体生长和衍射分析中的广泛应用，以及高通量蛋白质-结构解析流程的发展，极大推动了配体和片段筛选领域的革新。然而，晶体识别环节仍主要依赖人工目视检查，有时涉及数万张图像的筛选，这一瓶颈制约了整体流程的自动化水平。
人工晶体识别面临多重挑战：晶体形态高度多样，常与无定形沉淀、相分离等共存；微小晶体或微晶材料在自动成像系统中难以分辨；长时间评估导致注意力下降，不同专家间对同一图像的分歧可高达30%。尽管已有基于卷积神经网络（CNN）的自动化工具问世，如利用Inception-v3架构的MARCO模型在大型数据集上实现了91%的晶体召回率，但这些系统存在明显局限：应用于本地数据集时性能显著下降，需要大量标注数据进行重新训练，且未探索紫外（UV）成像在机器学习（ML）晶体检测中的应用。此外，结晶图像数据集的高度不平衡性（非晶体图像占比常超过95%）对分类器性能提出特殊要求——需在极高召回率与可接受的精确率之间取得平衡。
为解决上述问题，研究人员开发了AXIS（AI-based Crystal Identification System），这是一种整合现代计算机视觉模型、先进迁移学习技术和实验室闭环（Lab-in-the-Loop）迭代学习方法的智能晶体识别系统，研究成果发表于《IUCrJ》。该系统以Meta AI开发的DINOv2视觉基础模型为起点，该模型基于1.42亿张自然图像以自监督方式训练，具备强大的视觉特征提取与图像理解能力。研究团队采用低秩适应（LoRA）技术进行参数高效微调，仅训练少量低秩矩阵而非完整模型参数，在显著降低计算需求的同时实现对模型的深度适配。
研究人员构建了多步迁移学习策略：首先结合迄今为止最大的结晶图像数据集MARCO（415,777张图像，来自五个实验室）与C3补充数据集，构建包含446,544张图像的MARCO-C3训练集，将原有四类分类（晶体、澄清、沉淀、其他）整合为"晶体"与"其他"的二元分类，训练获得AXIS-foundation基础模型。随后利用欧洲分子生物学实验室（EMBL）格勒诺布尔高通量结晶（HTX）平台的历史数据生成本地训练集CRIMS-v1，通过 successive LoRA 微调建立可见光与紫外光双通道独立分类器（AXIS-Vis-v1与AXIS-UV-v1）。为克服单一成像模式的局限，研究人员开发了基于最大值选取（Argmax）的分数融合策略，当任一通道判定为晶体时即输出阳性结果。在此基础上，研究团队引入了"实验室闭环"的核心理念：将AXIS整合至晶体学信息管理系统（CRIMS）的工作流中，自动记录机器学习预测与专家人工评分的差异，通过专门的策展界面由专家对有分歧的图像进行复核验证，生成经人工校验的训练数据集，用于下一轮模型迭代优化。
研究结果部分，研究人员首先验证了DINOv2模型与迁移学习的有效性。与此前基于Inception-v3的MARCO模型相比，AXIS-foundation在C3测试集上晶体召回率从88.4%提升至98.8%，平衡准确率从90.7%提升至90.86%。然而，当应用于EMBL本地生成的CRIMS测试集时，性能出现下降（晶体召回率81.25%），印证了跨设施应用时模型性能衰减的共性问题。
在结合可见光与紫外光成像的研究中，研究人员发现：单独使用可见光分类器（AXIS-Vis-v1）在CRIMS测试集上达到93.1%的平衡准确率和90.0%的晶体召回率；而单独紫外光分类器（AXIS-UV-v1）因训练数据不足表现中等（平衡准确率82.6%，晶体召回率72.7%），但紫外成像能够识别被沉淀遮挡或可见光下对比度不足的小晶体。通过Argmax策略融合两种模式后，AXIS-CRIMS-v1分类器实现95.54%的晶体召回率和91.87%的平衡准确率，显著优于单一模式，证明了双通道融合在晶体识别中的协同价值。
实验室闭环方法的研究展示了迭代优化的显著效果。第一轮循环中，研究人员对14,400张图像进行自动比对，发现1,140例人机分歧；经专家策展生成25,568张可见光和16,658张紫外光图像的CRIMS-v2训练集，训练得到AXIS-CRIMS-v2模型，其在CRIMS测试集上平衡准确率提升至95.34%，晶体召回率达95.98%，且精确率显著改善（误分晶体图像从367例降至165例）。数周后开展第二轮循环，基于AXIS-CRIMS-v2的预测生成包含167,990张图像的CRIMS-v3训练集，最终模型AXIS-CRIMS-v3达到96.27%的平衡准确率和96.43%的晶体召回率。该模型对不同晶体类型表现出差异化识别能力：针状晶体和晶体簇的召回率超过98%，单晶体接近100%，而微晶因形态模糊、专家间本身存在分歧，召回率为93.88%，但仍优于此前模型。
在跨设施迁移性验证中，研究人员将AXIS应用于英国Diamond光源VMXi光束线的数据集。仅使用VMXi训练集对AXIS-foundation进行微调后，AXIS-VMXi模型在VMXi测试集上达到92.01%的平衡准确率和94.48%的晶体召回率，优于MARCO模型（85.1%/76.6%）和CHiMP-v2模型（91.1%/90.3%），证明了AXIS方法在不同成像条件、板型和设施间的良好迁移能力。
讨论部分指出，AXIS的核心优势在于将大型视觉基础模型、参数高效微调技术与实验室闭环迭代学习有机结合。DINOv2模型凭借其1.42亿张图像的自监督预训练，提供了强大的视觉特征理解基础；LoRA技术仅需训练约400万参数（占原模型86.6百万参数的4.6%），使微调过程计算需求大幅降低，单次GPU训练可在45分钟至12小时内完成；实验室闭环方法则通过CRIMS系统实现了专家知识的联邦化整合与持续反馈，解决了传统模型"一次训练、难以适配"的困境。
研究结论强调，AXIS实现了与专家水平相当的自动化晶体注释能力，其实验室闭环方法能够高效适应本地条件，促进广泛推广应用，这是此前方法的主要局限。该系统有助于纠正人工注释中的错误，消除关键瓶颈，尤其在广泛的结晶筛选或高通量应用（如片段和配体筛选）背景下，释放了更高水平自动化的潜力，对基础研究和转化研究均具有重要意义。AXIS的潜在应用还包括替代同步辐射光源中的X射线样品光栅扫描，实现更高效的自动晶体对中；以及将实验室闭环的机器学习-专家协作模式推广至结构生物学其他复杂实验流程中。
