MIRAGE：能够从生物力学角度解释的玉米植株的3D生成与重建技术

《Computers and Electronics in Agriculture》：MIRAGE: Biomechanically interpretable 3D generation and reconstruction of maize plants

玉米单图3D建模与生成框架MIRAGE通过整合扩散模型与NURBS曲面重建，结合生物力学约束参数化模型MaizeBR，实现了高保真玉米植株重建与生成。该方法突破传统2D成像限制，支持精确三维骨架提取和形态特征量化分析，显著优于现有设备依赖的3D重建方法。

　　

作者：卓月 | 优峰琪

美国康奈尔大学工程学院，纽约州伊萨卡市 14853

摘要

精确的3D建模对于自动化植物表型分析和生物力学研究至关重要。我们提出了MIRAGE（MaIze Reconstruction And GEneration），这是一个基于生物力学的框架，可以从单张图像生成和重建3D玉米植株。其核心是MaizeBR，这是一种可解释且可控的3D生物力学表示方法，引入了一种新的玉米器官参数化模型。MaizeBR的灵感来源于植物生物力学，结合了基于生物学原理的结构约束，包括茎秆的圆柱形、叶片的各向异性曲率以及叶序附着模式，这些特征在真实的玉米植株中普遍存在。这些约束增强了重建模型的结构完整性和生物学合理性。MIRAGE使用基于体素的扩散模型生成3D结构，然后通过NURBS（非均匀有理B样条）表面重建进行细化，该过程由MaizeBR指导。为了提高泛化能力，我们加入了特定于领域的增强机制，以模拟叶片曲率和伸长等自然植物变异。在多个玉米数据集上的实验表明，MIRAGE在重建质量和生物学合理性方面均优于现有方法。

引言

精确的3D重建对于植物表型分析至关重要，它提供了传统2D成像无法提供的详细结构信息（Harandi等人，2023年）。高分辨率的3D模型能够精确量化叶片角度、曲率以及茎秆与叶片的连接性等关键形态特征，这些特征对于分析植物生长特性至关重要。作为世界上最重要的经济作物之一，玉米需要强大且详细的3D建模，以满足生物学研究和实际应用（如育种和精准农业）的需求。

传统的3D植物重建方法严重依赖专门的硬件，如激光雷达（Li等人，2025年）、多视图立体视觉（MVS）（Wan等人，2025年）或运动结构恢复（SfM）（Usenko等人，2025年）。尽管这些技术可以提供准确的重建结果，但它们存在成本高、可扩展性差以及容易受到遮挡和视角条件影响的问题，特别是在野外部署和大规模表型分析中尤为突出。此外，尽管近年来发布了多个3D植物数据集（Schunck等人，2021年；Zhu等人，2024年），但由于数据采集和处理的耗时性和资源密集性，高质量标注样本的数量仍然有限。这种稀缺性进一步限制了训练出稳健、通用3D植物生成和重建模型的能力。

为了克服基于设备的方法的局限性，最近的研究转向了人工智能驱动的3D技术。虽然单目RGB输入不可避免地缺乏深度相机或点云等3D感测方式所提供的明确3D几何信息，因此可能无法达到最佳重建效果，但由于其简单性和易用性，它在可扩展性和低成本植物表型分析方面仍然具有实际意义。因此，我们专注于单目RGB输入环境，并在此假设下开发了一个端到端的重建框架。然而，像One-2-3-45（Liu等人，2023年）、Shap-E（Jun和Nichol，2023年）、LGM（Tang等人，2025年）和TRELLIS（Xiang等人，2025年）这样的通用3D生成模型通常针对刚性人造物体进行训练，难以模拟植物的细粒度非刚性结构，常常导致生物学上不可信的输出。

作为回应，特定于领域的模型在人类和动物建模等领域出现，其中结合了解剖学先验和参数化结构（如SMPL（Loper等人，2023年）、SKEL（Keller等人，2023年）和SMAL（Zuffi等人，2017年）显著提高了3D重建质量。类似的思路也被应用于植被建模，利用学习模型和结构感知的骨架化技术来捕捉树木和其他有机形式的层次结构（Li等人，2024年；Hadadi等人，2025年）。这些努力表明，将生物力学和形态学先验整合到基于学习的重建框架中，可以在真实感和结构忠实度之间架起桥梁。

在这项工作中，我们提出了MIRAGE（MaIze Reconstruction And GEneration），这是一个基于生物力学的单图像3D玉米建模框架。MIRAGE的核心是MaizeBR，这是一种可解释的3D参数化模型，用于茎秆和叶片的建模，旨在保持生物力学的合理性。MIRAGE首先通过基于图像特征的扩散模型生成基于体素的3D表示，然后使用NURBS拟合和生物力学约束进行细粒度网格重建。我们还引入了特定于领域的增强机制，以模拟自然植物变异（例如曲率和伸长），从而提高模型的稳健性和泛化能力。

基于重建的3D玉米模型，我们的框架通过3D骨架化和器官级分析实现了精确的表型特征提取。它能够精确计算叶片曲率和茎秆-叶片角度等关键特征，优于传统的2D方法。通过提供生物学上忠实且可扩展的解决方案，我们的方法推动了基于图像的自动化植物表型分析的发展。

总结来说，本工作的贡献如下：

• •
  我们提出了MIRAGE，这是一种新的单图像3D重建和生成框架，用于玉米，它结合了基于体素的扩散技术和网格建模，以生成生物学上准确的玉米植株模型。
• •
  我们引入了MaizeBR，这是第一个用于玉米植株的生物力学参数化3D表示方法，通过NURBS表面实现精确的网格重建，并具有结构约束功能。
• •
  我们设计了特定于领域的数据增强策略，以合成真实的玉米形态变异（例如曲率和伸长），从而缓解了实际3D植物模型的局限性，并提高了模型训练的泛化能力。
• •
  我们的方法能够准确提取器官级别的特征，如叶片曲率、茎秆-叶片角度和3D骨架化，支持超越传统2D方法的精确3D表型分析。

章节摘录

3D生成模型

3D生成模型的出现标志着计算机视觉和人工智能生成内容（AIGC）的重大进步，这一进展受到了2D视觉和语言模型大规模预训练成功的启发。早期的3D表示学习主要依赖于基于生成对抗网络（GANs）的监督训练。最近，基于扩散的生成模型在3D数据建模中获得了关注，支持了多种表示形式，如点云等。

MIRAGE概述

给定一张玉米植株的输入图像，我们的目标是重建一个准确且生物学上忠实的3D模型。如图1所示，MIRAGE框架包括两个主要阶段：基于体素的表示学习和生物力学网格建模。在第一阶段，我们使用预训练模型提取高级视觉特征，然后通过基于交叉注意力的模块将这些特征注入到基于3D U-Net的扩散模型中。这种条件化的体素扩散过程生成了一个粗略的3D模型。

实施细节

在训练过程中，我们使用了10,000个具有NURBS表面的合成玉米3D模型以及相应的40,000张2D渲染图像。我们遵循了Ronneberger等人（2015年，Li等人，2024年）提出的3D U-NET架构，该架构的编码器包含五个下采样块，输出体素分辨率为

为了训练体素扩散模型，我们使用了批量大小为2的Adam优化器，初始学习率为

局限性

尽管MIRAGE表现出了良好的性能，但仍存在一些局限性。首先，当前框架仅建模了茎秆和叶片，尚未包含对于完整植物表型分析至关重要的雄穗和其他生殖器官。因此，对于某些下游生物学分析来说，玉米形态的表示仍然不完整。其次，MIRAGE目前是专门为玉米设计的。虽然MaizeBR表示提供了强大的生物力学支持，

结论

在这项工作中，我们提出了MIRAGE，这是一个基于生物力学的单图像3D重建和生成框架，用于玉米植株。通过将参数化的生物力学表示MaizeBR与基于体素的扩散框架和NURBS表面细化相结合，MIRAGE在几何忠实度、结构合理性和可解释性之间取得了良好的平衡。除了在玉米重建方面的有效性外，MIRAGE还展示了如何系统地利用领域知识

作者贡献声明

卓月：撰写 – 审稿与编辑、撰写 – 原始草稿、可视化、验证、软件开发、方法论设计、数据分析、概念化。优峰琪：撰写 – 审稿与编辑、监督、软件开发、资源管理、项目协调、方法论设计、数据采集、概念化。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文所报告的工作。

致谢

该项目部分得到了Eric and Wendy Schmidt AI in Science博士后奖学金的支持，该奖学金由LLC提供。