基于自然语言的约束感知实验室设备布局生成方法，适用于异构实验室机器人

《Digital Discovery》：Constraint-aware labware layout generation from natural language for heterogeneous laboratory robots

　　随着实验室自动化加速科学发现，手动完成并将实验设备放置在机器人载盘上的这项依赖专业知识的任务仍然成为研究人员面临的重要障碍。这个初始设置对于实验的成功、安全性和效率至关重要，但其复杂性随着实验方案的复杂度呈指数级增长。为了解决这一挑战，我们推出了Labware-Layout Planner，这是一个创新系统，它将基于大型语言模型（LLM）的语义解释器与空间约束求解器相结合。该架构能够将自然语言实验方案转换为优化的、与机器人无关的设备布局。通过解释用户指令和物理约束，我们的系统自动化了确定每件设备放置位置的复杂决策过程。我们通过成功执行多种实验来展示其多功能性：在Opentrons OT-2上进行液体处理任务和复杂的qPCR测定，以及在人形机器Maholo LabDroid上进行的多步骤细胞传代实验。Labware-Layout Planner通过解决自动化的物理设置阶段的问题，代表了重要的进步，为研究人员从书面想法无缝过渡到机器人执行铺平了道路，释放了人类智慧用于更具创造性的科学研究。

引言

实验室自动化是一项有前景的技术，它通过提高可重复性和实现高通量实验来加速科学探索。1,2 在考虑实验室自动化的实际实施时，有 several 领域中人类会做出隐性的决策。例如，Ochiai等人提出的“Care”概念广泛涵盖了传统上由研究人员隐性地执行的任务，如准备工作以及对实验执行必要的意外事件的响应。3 在这些任务中，经常被忽视的一个关键准备工作是确定实验设备的初始放置位置。自动化实验中的初始布局直接影响试剂交叉污染的预防、机械臂的运动效率，从而影响整个实验的成功性和安全性。4 然而，这项任务传统上依赖于研究人员的经验和默会知识。5 此外，随着单个实验方案中使用的实验设备种类和数量的增加，可能的布局模式也呈指数级增长，使得人类极难确定最优解。6,7 因此，实验设备布局设计代表了很少被形式化的隐性人类决策，它在实验室自动化中构成了一个隐藏但重要的负担，直接影响了实验的安全性、效率和可重复性。尽管最近基于AI的系统可以生成可执行的机器人协议，但它们通常假设有效的实验设备布局是预先定义的，并不能保证满足物理放置约束。正如在讨论自动驾驶实验室中隐藏的人类劳动力时所强调的，3 自动化这一准备决策步骤对于实现真正的端到端实验室自动化至关重要。实验室自动化工作站广泛应用于药物发现和生物研究等领域。8,9 许多现有的自动化工作站，如自动液体处理器Opentrons OT-2、Hamilton STAR、Tecan Fluent和Beckman Biomek i-Series，以及双臂机器人Maholo LabDroid，都假设试剂容器和吸头架被放置在预定义的坐标上。8–12 虽然这种框架确保了高可重复性，但在实验开始前的准备阶段仍然存在挑战。我们之前的研究和其他团队的研究已经证明了使用大型语言模型从模糊的自然语言指令直接为实验室机器人生成机器人脚本的可行性。13,14 在此基础上，当前的工作通过解决另一个基本瓶颈——考虑约束的实验设备排列——进一步推进了实验室自动化。我们提出了一个框架，该框架通过结合语义提取的LLM和空间优化的系统求解器，弥合了非结构化文本和物理执行之间的差距。因此，在这项研究中，我们开发了一个系统，它能够从用自然语言编写的实验方案自动生成所需物品的清单、它们的初始布局和简单的设置指令。使用这个系统，我们进行了自动化的彩色水分配实验和PCR混合制备实验（使用Opentrons Labworks公司的OT-2），以及使用通用人形机器人Maholo LabDroid的细胞传代实验。15 虽然我们在这些实际实验中取得了一定的成功，但也发现某些功能的准确性还有改进的空间。结果表明，有可能显著减轻繁琐的准备工作的负担，使研究人员无需决定实验设备的放置位置即可进行实验，即使在像Maholo这样具有超过180个可能放置位置的环境中也是如此。

材料与方法

在这项研究中，我们提出了一个名为“Labware-Layout Planner”的软件，它以自然语言实验方案和实验设备放置约束作为输入，生成自动化实验室机器人的协议，其中包括初始的实验设备放置信息（图1）。根据自然语言协议的内容以及绝对和相对的实验设备放置约束，系统输出实验所需物品的清单及其放置信息。实验协议是用自然语言描述实验程序的文本。可用的实验设备清单指定了目标实验室环境中可用的实验设备。它作为基于库存的参考，帮助模型将协议中的提及映射到规范的实验设备名称，并检查基本一致性。它不被视为一个硬性限制：无法映射到清单中的提及会被标记出来进行审查，而不是阻止整个流程。放置约束是在确定实验设备布局时要考虑的规则。在这项研究中，我们定义了两种类型的约束：绝对约束和相对约束。绝对约束描述了实验设备与设备之间的关系，具体来说是定义给定实验设备可以放置的所有可能位置。相比之下，相对约束描述了不同实验设备之间的关系，例如，指定某些实验设备不应相邻放置（上方、下方、左侧、右侧或周围八个网格单元内）。这些放置约束必须在JSON文件中声明（见补充信息附录）。在当前实现中，绝对约束以负面的形式提供，通过指定每个物品不能放置的位置以及总的位置数量，然后位置规划器将这些描述转换为相应的允许位置集合。需要注意的是，为了简化问题，本研究只处理网格上的相对位置。这些是由Labware-Layout Planner根据实验协议、可用实验设备清单和放置约束作为输入生成的潜在实验设备布局。通常，最多会生成10个候选位置。这是一个文本，它根据从实验设备放置候选位置中选中的一个来指定物品应该放置的位置。图1

Labware-Layout Planner的整个工作流程：从自然语言协议到自动化的实验设备放置。Labware-Layout Planner以自然语言实验描述、可用实验设备清单和约束作为输入。最终输出提供全面的实验设备放置图和一组用于设置实验设备的自然语言指令。

Labware-Layout Planner的架构

Labware-Layout Planner由三个主要组件组成：labware-extractor，它确定所需物品的清单；position-planner，它根据绝对约束确定这些物品的位置；以及constraint-validator，它过滤掉不满足相对约束的任何位置（图2）。labware-extractor是一个程序，它以自然语言协议、可用实验设备清单和放置约束作为输入。它解释协议的内容并从可用实验设备清单中提取要使用的实验设备清单（图2）。它利用大型语言模型（LLM），通过OpenAI的API（o1-preview；见补充信息附录）以JSON格式生成输出。在执行labware-extractor过程中，如果发生JSON格式错误或OpenAI API错误，系统将重试最多10次以生成物品清单。如果生成了正确的JSON格式的输出，无论物品清单本身的正确性如何，流程都将进入下一个模块position-planner。position-planner以物品清单和绝对约束作为输入，并输出满足这些约束的物品位置（图2）。通过在Labware-Layout Planner中为候选放置位置预先分配整数值，它为从labware-extractor获得的清单中的每个物品分配一个整数值。对于Opentrons OT-2，预先分配了1至11号站点。对于Maholo，总共为其位置预先分配了189个序列号：7个用于50 mL试管提升器，22个用于1.5 mL试管提升器，16个用于平板提升器，120个用于CO2培养箱平板提升器，24个用于冷却培养箱50 mL试管提升器。该模块采用系统搜索（暴力搜索）算法来识别有效配置。为了优化计算效率，求解器首先为具有最严格绝对约束的物品分配位置，从而在验证剩余物品是否符合相对约束之前有效地缩小搜索空间。constraint-validator以position-planner提供的物品位置和相对约束作为输入，只输出满足这些约束的放置信息（图2）。它最终将选项缩小到10个候选位置，并向用户输出一个最终放置候选位置。

Labware-Layout Planner系统的架构。实验设备放置生成的工作流程。输入包括自然语言协议、可用实验设备清单和放置约束。labware-extractor从协议中提取所需的实验设备名称，并参考可用清单，同时带有重试的错误处理循环。position-planner根据绝对约束提出候选实验设备位置。constraint-validator使用相对约束过滤这些位置，得出最终验证后的实验设备位置图。

实验设置

在这项研究中，我们使用了Opentrons OT-2（Opentrons Labworks Inc., USA）和Maholo LabDroid（Robotic Biology Institute Inc., Japan）作为自动液体处理器。OT-2配备了P20 GEN2单通道和P300 GEN2单通道移液器。我们创建并执行了一个Python脚本来根据指定的放置信息操作OT-2。我们使用带有错误反馈循环的LLM生成了OT-2的Python协议。当生成的脚本在验证或执行过程中出现错误时，错误信息会被提供给模型，并重新生成脚本，最多尝试10次。Maholo使用其双臂执行由ProtocolMaker生成的任务。

彩色水混合实验

我们在蒸馏水中准备了蓝色和红色的食用色素（Watashi no Daidokoro Co., Ltd），以制备彩色溶液。每种溶液都被分配到一个6孔板中。一个自然语言协议如下：“以300:0到0:300的体积比混合颜色A和颜色B，每次30 μL，并将每种混合物的300 μL分配到96孔板第一列的1-10孔中”，被输入到Labware-Layout Planner中以自动生成放置信息（见补充信息附录）。根据生成的放置信息创建了一个OT-2脚本，并使用P300_GEN2移液器执行。操作后，使用平板读取器（Absorbance 96 Plate Reader (Byonoy GmbH, Hamburg, Germany)在492 nm和620 nm波长下测量每个孔的吸光度。

PCR混合制备实验

试剂和耗材

• qPCR Premix: TB Green Premix Ex Taq? GC (2×) 含 ROX Reference Dye II (50×) (Takara, 商品编号 RR071B, 批号 AN21527A)
• 人源标准cDNA: qPCR Human Reference cDNA，随机引物（50 μg/mL 浓度）(Takara, 商品编号 639654, 批号 2104720A)
• 正向/反向引物（10 μM）：
? hACTA2_F1/hACTA2_R1
? hGAPDH_F1/hGAPDH_R1
? hWNT2_F1/hWNT2_R1
• 无核酸酶的水: UltraPure? 蒸馏水 (Invitrogen, 商品编号 10977-015)
• 盘子：
? StorPlate 96孔圆形底PP，450 μL (Revvity/PerkinElmer, 商品编号 6008190) ×2
? MicroAmp? EnduraPlate? 光学96孔透明反应板（带条形码）(Applied Biosystems/Thermo Fisher Scientific, 商品编号 4483354)
? MicroAmp? Splash-Free 96孔底座（Applied Biosystems/Thermo Fisher Scientific, 商品编号 4312063)
• 管子：
? 1.5 mL 管子 (WATSON, 商品编号 131-815CS-N)
? 50 mL 圆锥管 (FALCON, 商品编号 352070)
• 移液器吸头：
? Opentrons OT-2 20 μL 吸头 (商品编号 999-00007)
? Opentrons OT-2 300 μL 吸头 (商品编号 999-00009)

PCR混合制备程序

一个GEN2温度模块被放置在第9号载盘站，其USB电缆连接到OT-2的后部，电源电缆连接到交流电源插座。脚本通过Opentrons App v6.0.0上传，并进行了校准。温度模块从设置界面开始就被预冷却至4°C。从50 μg/mL的人源标准cDNA储备液中取出一管进行解冻。将3 μL的储备液加入到47 μL的H2O中，放入一个50 mL的试管中，通过轻轻吹吸混合后，敲击试管使其漩涡均匀，然后短暂离心5秒（快速离心）。得到的3 μg/mL（3000 ng/mL）cDNA溶液被转移到一个1.5 mL的试管中，并放置到OT-2设备的第1个位置。准备了两个StorPlate板，在每个板子的A1–A3孔中预先分配了27 μL的H2O。从4°C的储存条件下取出3 μL的正向引物（F1–F3）和反向引物（R1–R3），每个孔最终加入3 μL，总量为30 μL（浓度为1 μM）。每个板子都密封后，通过敲击混合，然后短暂离心（快速离心）。正向引物板放置在第3个位置，反向引物板放置在第4个位置。接下来按照顺序将以下试剂加入OT-2设备的1.5 mL试管中：

- 217.6 μL的无核酸酶水
- 12.8 μL的ROX Dye II染料（室温下完全解冻）
- 320 μL的TB Green Premix Ex Taq GC

每次添加试剂后，用移液管上下吹吸5次，最终体积达到550.4 μL。准备完成后，将试管保持在4°C。Labware-Layout Planner自动生成的脚本根据以下步骤将反应混合物分配到96孔PCR板中（第5个位置）：

1. 将137.6 μL的PCR混合物分配到三个独立的1.5 mL试管中。每个试管中再加入3.2 μL相应的正向和反向引物，生成三种类型的引物特异性混合液（每种344 μL）。
2. 将86 μL的PCR混合物分配到另一个试管中，并加入4 μL的H2O，生成90 μL的无引物混合液（用于仅含模板的对照）。
3. 根据板子布局图，向每个孔中分别加入18 μL的引物特异性混合液或无引物混合液，然后加入2 μL的模板cDNA或H2O（用于无模板对照（NTC）。总共使用了21个孔：3组引物×每个组3个重复次数，3组无引物条件×每个组3个重复次数。
4. 分配完成后，将板子密封，在离心机中以1000 rpm的速度离心3分钟，检查是否有气泡和液体是否均匀。将密封好的板子放入QuantStudio? 6 Pro（Thermo Fisher Scientific）设备中，确保A1孔的方向正确，并使用QuantStudio Design & Analysis Software v2.5设置反应条件。

### 药品和消耗品

- Dulbecco's Phosphate-Buffered Saline (PBS)，30 mL ×1（Gibco 10010-023，批次：2412443）
- 细胞培养基，30 mL ×1
- FBS（biosera，555-21245，批次：015BS427）
- 200 mM l-谷氨酰胺（Gibco，25030081，批次：2660218）
- 青霉素-链霉素（Gibco，15140-122，批次：2585661）
- MEM非必需氨基酸溶液（100倍浓缩），30 mL ×1（Gibco，11140-050，批次：2670626）
- DMEM高葡萄糖培养基（Gibco，11965-092，批次：2646159）
- 0.05%胰蛋白酶-EDTA，30 mL ×1（Invitrogen，T10282，批次：2713076）
- 6孔细胞培养板 ×2（Sumitomo Bakelite，MS-80060）
- 50 mL圆锥形试管 ×3
- 适用于Maholo：Sumitomo Bakelite（MS-58500）
- 适用于手动操作：FALCON（352070）
- 10 mL微量移液管 ×3（Greiner，607160）
- 1 mL（1000 μL）移液器吸头（Sartorius，791001）
- 200 μL移液器吸头（Sartorius，790201）

### 设备配置

- CO2培养箱（37°C，5% CO2）
- 铝块加热器（37°C，AluminiumBath）
- 冷却培养箱（4°C，使用机架位置1–1至1–3）
- 板子搬运器（位置9）

### 试剂预热（实验开始前15分钟）

- 在铝块加热器（AluminiumBath）中，将30 mL的PBS（放在50 mL试管中）、30 mL的培养基（放在50 mL试管中）和30 mL的胰蛋白酶（放在50 mL试管中）加热至37°C，持续15分钟。这是细胞传代操作的第一步。

- 从一个CO2培养箱中取出含有HEK293A细胞的6孔板（播种后2天，每个孔接种1 × 10^6个细胞）。吸出每个孔中的培养基。
- 加入2 mL的PBS，轻轻摇晃板子，然后吸出PBS。
- 加入1.5 mL的胰蛋白酶，将板子放回培养箱中3分钟。
- 加入1.5 mL的培养基以中和胰蛋白酶，然后通过吹吸使细胞充分悬浮。
- 向一个新的6孔板的一个孔中预先分配1.5 mL的新鲜培养基。
- 将步骤（6）中的375 μL细胞悬液加入该孔中，然后将板子前后左右倾斜以混合。新板子放入CO2培养箱（37°C，5% CO2）中继续培养。

### 样品放置

- 含有PBS的50 mL试管放置在冷却培养箱的机架1–1上
- 含有培养基的50 mL试管放置在冷却培养箱的机架1–2上
- 含有胰蛋白酶的50 mL试管放置在冷却培养箱的机架1–3上
- 空的6孔板放置在板子搬运器9上
- 含有HEK293A细胞的6孔板（操作前）放置在CO2培养箱的机架1–1上

### 结果

我们提出了Labware-Layout Planner软件，该软件可以从用自然语言编写的实验方案和约束条件生成初始的实验室设备布局。使用OT-2进行的彩色水实验验证了Labware-Layout Planner的基本性能。

为了验证Labware-Layout Planner的性能，我们使用了一个相对简单的实验方案来通过混合彩色水来创建颜色渐变（参见补充信息附录：彩色水实验方案）。这个方案用自然语言描述并输入系统，同时提供可用的实验室设备和放置约束条件（见图3B）。根据这些输入，Labware-Layout Planner通过labware-extractor提取设备名称，然后使用position-planner和constraint-validator确定设备放置位置，并最终输出设备放置图和自然语言操作说明（见图3B）。此外，基于Inagaki等人的工作，我们还使用这些放置信息为OT-2生成了一个Python脚本。在10次独立实验中，使用相同的彩色水方案，labware-extractor成功提取设备名称的次数达到了9次。

**彩色水实验：Labware-Layout Planner的验证。**
- （A）实验方案概述。两种彩色溶液（颜色A和颜色B）最初分别位于不同的6孔板中，然后通过Labware-Layout Planner控制的Opentrons OT-2机器人转移并混合在96孔板中以创建渐变。展示了带有编号位置的OT-2装置布局。（B）使用Labware-Layout Planner的详细工作流程示例。输入（自然语言过程流程、可用设备列表和放置约束条件）通过labware-extractor（设备名称提取）、position-planner（生成有效设备位置）和constraint-validator（约束验证）进行处理，最终产生设备放置图和自然语言操作说明。展示了实际输入和中间输出的示例（如JSON格式）。（C）Labware-Layout Planner生成的设备放置图和自然语言操作说明。（D）在OT-2装置上实际实验设置的照片。（E）OT-2执行分配和混合协议后，96孔板上的颜色渐变结果。（F）选定孔在492 nm（实线）和620 nm（虚线）处的吸光度测量结果，确认颜色渐变成功生成。

**设备提取**

作为第一步，使用大语言模型（LLM）从自然语言协议中提取实验所需的设备。LLM被指示参考可用设备列表（见补充信息附录），并将结果以特定的JSON格式输出。这个JSON包括设备名称、液体体积（quantity）、液体单位（unit）、设备的初始内容（init_content）以及Opentrons设备的设备名称和标识符（labware.id, labware.name）。在使用彩色水方案的10次实验中，labware-extractor成功且正确地提取了所需设备列表9次。然而，在其中一次实验中提取步骤失败了。

**约束验证**

基于labware-extractor提取的设备列表，position-planner为OT-2装置上的可用插槽（1–11）生成了放置候选方案。接下来，constraint-validator评估这些候选方案，并过滤掉违反预定义的绝对约束（例如，某个特定插槽不能使用）和相对约束（例如，“颜色A的水”和“颜色B的水”不能相邻）的方案（见图3B的输入）。在labware-extractor成功提取的9次实验中，都确定了一个满足这些约束的有效设备布局，并以放置图的形式输出（见图3C的示例布局）。

**OT-2实验验证**

使用确定的设备放置信息和原始实验方案作为输入，使用LLM生成了可在OT-2上执行的Python脚本。生成的脚本首先使用opentrons_simulate工具检查基本可执行性（例如，不存在语法错误或错误的API调用）。所有生成的Python脚本均通过了opentrons_simulate的检查，被认为是有效且可执行的。为了验证Labware-Layout Planner生成的Python脚本的实际实用性，并通过模拟进行验证，我们使用实际的Opentrons OT-2机器人进行了实际实验（见图3D）。我们执行了其中一个成功的实验脚本，观察到OT-2自动从6孔板中吸取彩色水（颜色A、颜色B），并按照指定比例将它们分配并混合到96孔板中。实验结果表明，96孔板上形成了预期的颜色渐变，如图3E所示。此外，当我们使用板读数器测量每个孔的吸光度时（见图3F），吸光度值根据颜色A（蓝色溶液，吸光度峰值在620 nm）和颜色B（红色溶液，吸光度峰值在492 nm）的比例逐渐变化，证实了混合和分配操作是根据Labware-Layout Planer生成的方案准确执行的。

**使用OT-2进行qPCR试剂准备实验**

为了验证Labware-Layout Planner在更复杂任务上的实用性，我们使用了一个涉及多种试剂和引物组的qPCR试剂准备方案（见补充信息附录：OT-2 qPCR方案）。在这个实验中，OT-2机器人将三种引物组、样品DNA、PCR混合液和水（NTC）分配并混合到96孔PCR板中。与彩色水实验类似，我们将自然语言协议、可用设备列表和放置约束条件输入到Labware-Layout Planner中（见图4B）。系统执行了设备名称提取（labware-extractor）和位置确定（position-planner、constraint-validator），生成了设备放置图、操作说明和OT-2 Python脚本。

**使用Opentrons OT-2进行qPCR试剂准备的Labware-Layout Planner验证。**
- （A）qPCR实验方案概述。样品、三组正向和反向引物、水（无模板对照-NTC）和PCR混合液分别在不同的原始设备中准备。然后由Opentrons OT-2将这些试剂分配并混合到空的96孔板中。随后使用qPCR仪器分析制备好的板子。展示了OT-2装置的布局。（B）使用Labware-Layout Planner的qPCR实验详细工作流程示例。输入（自然语言过程流程、可用设备列表和放置约束条件）通过labware-extractor（设备名称提取）、position-planner（生成有效设备位置）和constraint-validation（约束验证）进行处理，生成设备放置图和自然语言操作说明。展示了实际输入和中间输出的示例（如JSON格式）。（C）Labware-Layout Planner为qPCR实验生成的设备放置图和自然语言操作说明。（D）在OT-2装置上实际设置的照片，展示了（C）中指定的布局。（E）OT-2执行分配和混合协议后，96孔板上显示的颜色渐变结果。（F）在选定的孔中测量的吸光度值，分别在492 nm（实线）和620 nm（虚线）处，确认了颜色渐变的成功生成。实验室设备提取

在qPCR实验中，第一步依然是使用labware-extractor从自然语言协议中提取实验室设备（见图4B）。采用与彩色水实验相同的程序，通过大语言模型（LLM）将所需的实验室设备及其信息提取为JSON格式。与彩色水实验相比，qPCR协议更为复杂，涉及的实验室设备种类和数量更多。经过10次尝试，labware-extractor有5次成功提取了所需的实验室设备列表，而其余5次尝试失败。在10次qPCR试剂准备尝试中，有1次成功完成，9次失败。在5次失败案例中，问题发生在早期提取阶段，经过多次修正循环后，模型的上下文窗口变得不足，导致提取不完整或不一致，以及生成的输出结构无效。在剩下的4次案例中，提取和布局生成过程完成，但由于模型产生的设备名称与Opentrons的官方定义不符，被opentrons_simulate工具拒绝。

基于labware-extractor提取的实验室设备列表，position-planner和constraint-validator确定了设备放置位置（见图4B）。虽然我们的系统可以结合反映实际实验室条件的绝对和相对放置约束，但qPCR实验所需的实验室设备数量众多，使得OT-2试剂盘几乎已满。应用理想的约束（例如，将吸头架与试剂分开）极大地限制了可能的放置选项。因此，在这次实验中，我们没有超出OT-2硬件能力和试剂盘容量来施加额外的用户定义的绝对或相对放置约束。在此设置下，position-planner和constraint-validator的角色是确认放置的可行性，并输出一个无碰撞、符合硬件要求的放置方案，确保所有所需设备都能放在OT-2试剂盘上。在所有5次成功提取的尝试中，都确定了一个实验室设备布局，并将其作为放置图输出（示例布局见图4C；基于实际布局的设置见图4D）。

基于确定的实验室设备放置信息，使用LLM为5次成功提取的尝试生成了OT-2 Python脚本。然后使用opentrons_simulate工具对这些脚本进行了可执行性验证（检查语法错误、API调用错误等）。只有一份脚本通过了验证，被选为qPCR混合准备协议的可行候选方案。为了确认这份自动生成并经过验证的Python脚本的有效性，我们实际进行了qPCR试剂准备实验。具体来说，我们使用该脚本为三个引物组合准备了针对人类cDNA样本的反应混合物，包括样本（cDNA）和无模板对照（NTC，水）的反应，每种组合重复三次（总共21个孔）。首先，人类操作员根据协议将PCR混合物、引物、样本DNA和水放置在OT-2试剂盘上。接着执行生成的脚本以启动自动化实验。OT-2使用p20和p300移液器自动执行任务，如将引物加入PCR主混合物中，并将模板（cDNA或水）分配到相应的孔中。使用QuantStudio? 6 Pro对准备好的板子进行了实时PCR检测。结果显示，对于所有三个引物组合，cDNA孔都产生了预期的扩增曲线，而NTC孔则没有扩增或仅在非常晚的周期产生了非常微弱的信号（见表1）。例如，如图4E所示，hACTA2和hGAPDH等目标显示出良好的扩增效果。如表1所示，hACTA2 cDNA的平均Cq值为19.273，NTC为35.411；hWNT2 cDNA的平均Cq值为28.532，NTC为38.269，这证实了特异性扩增。此外，在hGAPDH NTC和无引物cDNA孔中没有观察到扩增，表明污染风险较低。这些结果表明，Labware-Layout Planner生成的实验室设备布局和配套的Python脚本即使在qPCR试剂准备中也能产生准确且可重复的结果。

样品

目标

重复次数

Cq平均值

Cq标准差

NTC

hACTA2

3

35.411

2.219

cDNA

hACTA2

3

19.273

0.469

NTC

hGAPDH

3

NaN

NaN

cDNA

hGAPDH

3

21.135

0.053

NTC

hWNT2

3

38.269

NaN

cDNA

hWNT2

3

28.532

0.085

cDNA

无引物

3

NaN

纳米

使用Maholo进行的细胞传代实验

为了测试Labware-Layout Planner在不同机器人平台上的多功能性以及处理更复杂生物任务的能力，我们使用了双臂机器人“Maholo”进行了HEK293A细胞传代实验（见图5）。该实验包括多个步骤，包括更换培养基、从6孔板中悬浮细胞，以及将细胞转移到新的6孔板中（见图5A）。我们用自然语言描述了这个细胞传代协议，并将其连同Maholo可用的实验室设备列表及相关放置约束一起输入系统（见图5B）。根据这些输入，Labware-Layout Planner执行了实验室设备名称提取（labware-extractor）和基于约束的放置确定（position-planner和constraint-validator），最终输出了Maholo工作空间的初始实验室设备放置图和自然语言设置指令（见图5）。

使用Maholo机器人进行细胞传代实验中Labware-Layout Planner的验证。(A) 细胞培养实验协议的示意图。HEK293A细胞在更换培养基后从6孔板传代到新的6孔板上，由Maholo LabDroid（双臂机器人）执行。(B) 使用Labware-Layout Planner的详细工作流程。输入（自然语言流程、可用实验室设备列表、Maholo的约束条件）被处理以生成输出（实验室设备放置图和自然语言设置指令）。展示了实际的中间输出（JSON格式）示例。(C) Labware-Layout Planner为传代工作流程生成的实验室设备放置图和自然语言设置指令。(D) 根据(C)实施的手动操作：Maholo实验平台上实验室设备设置的照片及相应示意图。(E) 实验结果的显微图像。(i) 显示了接种细胞后的孔情况；(ii) 显示了24小时后的孔情况。刻度尺表示300 μm。

作为第一步，labware-extractor从自然语言的细胞传代协议中提取了所需的实验室设备。该协议包括了用于PBS、培养基和胰蛋白酶的50毫升试管，以及用于细胞培养的6孔板等物品。labware-extractor正确解读了这些信息，并成功生成了一个JSON格式的列表，其中包括内容和ID，如图5B中的输出示例所示。

接下来，基于labware-extractor生成的实验室设备列表，position-planner和constraint-validator确定了Maholo平台上的最佳放置位置。在此过程中，考虑了Maholo特有的绝对放置约束，例如“试管必须放置在特定的试管架上”。结果生成了一个可行的实验室设备放置方案。

根据Labware-Layout Planner输出的放置信息（见图5C），我们在Maholo的工作空间中准备了试剂和实验室设备（见图5D）。我们手动创建了一个与放置信息相匹配的Maholo运动生成协议，并操作了机器人。机器人成功完成了整个传代操作系列，包括从旧板上吸取培养基、用PBS清洗、用胰蛋白酶分离细胞、用培养基中和并悬浮细胞，以及将细胞悬浮液接种到新板上。实验后对新的6孔板进行显微观察，确认细胞被适当接种、正常附着并正在增殖，如图5E所示。这一结果表明Labware-Layout Planner具有很高的多功能性，不仅能自动生成简单的分配任务的初始布局，还能处理在不同的机器人平台上进行的多步骤生物实验，如细胞培养。

在这项研究中，我们开发了Labware-Layout Planner系统，它可以自动根据用自然语言描述的实验协议生成初始实验室设备布局和可执行代码。这代表了一种新颖的方法，用于减轻实验室自动化中经常被忽视的准备工作负担：实验室设备的初始放置，这一任务传统上依赖研究人员的经验和隐性知识。该系统自动化了一系列流程，包括使用LLM（labware-extractor）进行实验室设备提取和基于约束的放置确定（position-planner和constraint-validator）。这使得实验者只需提供自然语言指令和试剂准备，无需担心复杂的放置问题，从而进一步推进了实验室自动化。在本文中，我们在三种不同条件下验证了该系统的有效性：使用Opentrons OT-2的简单彩色水混合实验、使用Opentrons OT-2的复杂qPCR试剂准备实验，以及使用通用型人形机器人Maholo LabDroid的细胞传代实验。在使用Opentrons OT-2（自动化液体处理设备）的验证中，我们的系统在从简单的彩色水混合实验到需要分子生物学知识的qPCR混合制备等任务中展示了其有效性。首先，在彩色水混合实验中，系统能够根据Labware-Layout Planner生成的实验室设备位置信息和LLM生成的移动脚本，正确地将彩色水分配到96孔板中。此外，在更实际的qPCR试剂准备实验中，尽管涉及多种试剂和频繁更换吸头，实验仍按预期完成，同时减少了污染和非特异性扩增。此外，其有效性还通过在双臂机器人Maholo上的细胞传代实验得到了验证。Maholo是一款通用型人形机器人，拥有超过180个可用于放置实验室设备的槽位。当机器人根据Labware-Layout Planner输出的放置信息进行操作时，成功完成了整个细胞传代操作系列。实验后的显微观察确认细胞被适当接种、正常附着并正在增殖。这些结果表明，我们的系统不仅限于特定的机器人平台或任务，也适用于使用更灵活的双臂机器人的生物实验。这表明它有潜力显著减轻多样化的初始实验设置任务的负担，从而帮助研究人员专注于他们的核心研究活动。这项研究符合最近将大型语言模型（LLMs）应用于自主科学研究任务的趋势。众所周知，通过结合目标导向的指令和错误校正循环，LLMs可以为OT-2生成高精度的可执行Python脚本。此外，也有尝试使用LLMs从文献中提取生物实验协议并将它们转换为热循环仪上的可执行代码。虽然这些先前的研究主要集中在自然语言协议的逻辑解释及其转换为可执行代码上，但我们的研究独特之处在于它解决了经常被忽视的实验室设备物理初始放置问题。具体来说，我们提出了一个框架，自动生成考虑实际可行性和安全性的布局，例如防止交叉污染和优化机械臂运动效率，通过结合物理约束（如绝对和相对位置），这在过去是由人类手动确定的。在这方面，我们的工作超越了单纯的代码生成，将实验的物理设置也纳入了自动化的范围。因此，它补充了现有的方法，并为实现更实用的实验室自动化做出了重要贡献。在这个背景下，我们的方法补充了传统的符号规划框架，如Task and Motion Planning（TAMP）。虽然TAMP在给定结构化状态时能够生成有效的动作序列，但它无法处理非结构化的自然语言输入。近期的一些研究开始探索使用大型语言模型（LLMs）将自然语言翻译成中间表示形式，以便模板匹配和规划（TAMP）算法能够处理这些中间表示。20,21 通过利用LLM进行初步的语义解析，我们的系统在实验室领域中弥合了这一空白，将自然语言协议转换成有效的下游运动规划所需的结构化“初始状态”（实验室设备布局）。此外，与手动设计不同，这种方法消除了组合布局规划所需的认知负担，确保了配置的可重复性和安全性，而无需人工干预。然而，对于实际应用来说，也出现了一些必须克服的挑战。首先是基于LLM的项目提取（实验室设备提取器）的准确性，这是系统的入口点。在简单的彩色水实验中，它在10次尝试中有9次成功；但在涉及更多种类和数量的实验室设备的qPCR试剂准备实验中，成功率降到了50%（5次中的1次）。这表明随着协议复杂性的增加，LLM准确提取所有项目的难度也随之增加，因此实施验证机制以确保提取结果的可靠性变得至关重要。在这个背景下，我们还进行了一个对照实验，比较了LLP与现成的LLM提示（参见补充信息“与现成LLM提示和可重复性的对比”），结果显示在重复相同的输入下，LLP能够更好地满足约束条件，并产生更一致的输出。其次是放置确定阶段（位置规划器和约束验证器）中设置约束的复杂性。我们系统的一个优势是它能够灵活地指定反映现场实践的规则，例如将垃圾桶与试剂分开。然而，随着约束条件变得更加复杂，计算成本也随之增加，用户需要额外花费精力来指定这些约束。此外，列举相对约束本身（例如列出所有不应相邻的实验室设备组合）目前仍是一项手动任务，占据了部署系统所需努力的相当大的一部分。目前，用户必须在JSON约束文件中明确表达这些规则。在未来的工作中，我们计划添加更高层次的约束模板和可重用的约束块，以便为新协议实例化，这样常见模式（例如“将所有废弃物容器与试剂分开”）就可以一次性指定，而不需要针对每对单个项目来指定。另外，尽管位置规划器已经能够将负面约束（“不能放置在这里”）转换为相应的允许位置，但目前的界面仅向用户展示了这种负面形式；扩展界面以接受正面约束（“必须放置在这里”）是一项直接的改进，应该将进一步简化约束的指定。目前，邻接性是基于网格布局来确定的，但基于坐标和距离的系统会更加实用。未来，我们希望实现能够生成和优先处理反映生物学背景的约束的扩展，以及动态调整约束的功能。第三，由于实施限制，我们的系统要求放置候选位置由整数值来指定，从而将工作空间简化为2D网格。然而，现实世界的实验室环境本质上是三维的。未来的扩展必须确保三维一致性，例如考虑堆叠高度限制、垂直臂的间隙以及通过整合所有实验室设备的3D模型信息来避免Z轴碰撞。除了这些个别挑战外，还需要从更广泛的角度来考虑系统设计。本研究开发的Labware-Layout Planner专注于生成初始实验室设备放置信息。明确地将实验室设备布局确定过程与各个机器人的代码生成过程分开对于确保系统的多功能性和可重复性至关重要。这使得生成的放置信息可以采用一种中立且可重用的格式，不受特定平台（如OT-2或Maholo）的影响。然而，这种解耦的架构不可避免地在生成的放置信息和最终的可执行代码之间造成了差距。在本研究中，我们偶然生成了一个OT-2脚本来弥合这一差距，但这种转换过程本身可能会成为实验室自动化中的一个新瓶颈。实际上，在qPCR实验中，当我们让LLM根据位置规划器提出的有效布局生成OT-2代码时，我们观察到脚本生成的是另一个不同的实验室设备布局，这表明随着协议复杂性的增加，LLM的内部状态一致性可能会受到影响。在我们的实验中，这种错误反馈循环只是略微提高了复杂qPCR协议的总体成功率：即使在多次重新生成尝试之后，许多脚本仍然包含语法或语义错误。这表明，在我们研究时所使用的模型下，主要限制在于LLM从长提示中生成完全一致的OT-2代码的能力，而不是缺乏反馈机制。因此，我们预计更新的LLM，或一个专门的类似编译器的模块，能够将中立的放置表示映射到特定于机器人的指令，将进一步减少这些错误，并使端到端的流程更加可靠。因此，实现端到端实验自动化的下一个关键步骤将是开发一个类似编译器的模块，该模块以Labware-Layout Planner提供的中立放置信息作为输入，并为各种机器人平台可靠地自动生成可执行代码。这种方法有可能减少实验室设备放置所隐藏的人力负担，这在过去一直依赖于研究人员的隐性知识。我们的框架通过确定性规划器明确编码和执行物理约束，实现了可验证且不受机器人限制的布局生成，超越了基于提示的方法。然而，这项研究也突显了一些挑战，包括基于LLM的项目提取的准确性、生成的放置信息与机器人可执行代码之间的差距，以及如何将现实世界中的3D放置候选位置映射到软件中的问题。作为未来的工作，我们认为社区会从一个标准化的、版本化的生命科学实验室自动化基准套件中受益（固定协议集、库存/约束以及有效性/约束满足度指标），以便能够长期追踪进展，我们希望为此贡献力量。此外，进行一项比较手动规划与有效布局所需时间和错误率的对照研究也是一个重要的下一步。未来，克服这些挑战不仅需要提高组件的可靠性，还需要开发与多样化机器人平台兼容的模块。最终，这种方法有望实现未来的实验室，研究人员可以无缝地从用自然语言描述一个想法过渡到其物理执行。

作者贡献

概念化：H. O.; G. N. K.; K. O.
数据管理：Y. T.-A.; T. I.; A. K.; K. A.
资金获取：H. O.; G. N. K.; K. T.
调查：H. O.; Y. T.-A.; T. I.; A. K.; K. A.
方法论：Y. T.-A.; T. I.
项目管理：H. O.; G. N. K.; A. K.
资源：H. O.; G. N. K.; K. O.; A. K.; K. A.; K. T.
软件：Y. T.-A.; T. I.
监督：H. O.; G. N. K.; A. K.
可视化：Y. T.-A.; T. I.
写作——初稿：Y. T.-A.; T. I.
写作——审阅与编辑：H. O.; G. N. K.; K. O.; Y. T.-A.; T. I.; A. K.; K. A.
Y. T.-A. 和 T. I. 的贡献是平等的，并有权在他们的简历中首先列出他们的名字。

利益冲突

作者没有需要披露的利益冲突。

数据可用性

Labware-Layout Planner的源代码以及重现本文结果和图表（图3-5和表1）所需的所有数据都可以在https://github.com/labauto/Labware-Layout-Planner公开获取，并已存档在Zenodo（https://doi.org/10.5281/zenodo.17254729）上。补充信息（SI）也可获取。详见DOI：https://doi.org/10.1039/d6dd00026f。

致谢

我们感谢Hiroko Uchida为图表制作了插图。本研究得到了医疗研究中心深度组学计划、Nankan-Kyoten项目和多层应力疾病项目的支持（JPMXP1323015483给G. N. K.），JST-Mirai计划（JPMJMI18G4和JPMJMI20G7给K. T. 和 H. O.），早期职业科学家资助计划（JP22K17992给H. O.），JSPS研究员资助计划（JP22KJ3148给A. K.），变革性研究领域（A）资助计划（JP23H04149给H. O.），科学研究（C）资助计划（JP23K11820给G. N. K.），JST BOOST（JPMJBS2414给Y. T.），JST K计划（JPMJKP25V1给G. N. K.），RIKEN TRIP高级通用智能科学计划（AGIS）对K. T. 和 H. O. 的支持，以及JST CREST（JPMJCR2551给G. N. K. 和 H. O.）的支持。

参考文献

这些作者的贡献是平等的。