**中文标题：** NeuraLeaf：叶片形状、形变与外观的解耦式神经参数化建模

《INTERNATIONAL JOURNAL OF COMPUTER VISION》：NeuraLeaf: Disentangled Neural Parametric Modeling of Leaf Shape, Deformation, and Appearance

　　

研究人员开发了一种用于植物建模与重建的三维叶片神经参数化模型（Neural Parametric Model, NPM），该模型在农业和计算机图形学（Computer Graphics, CG）中至关重要。尽管神经参数化模型已在人体和动物研究中得到广泛探索，植物叶片因其极薄的表面几何结构（surface geometry）和高度灵活的形变（deformation）特性而面临独特挑战。为解决这一问题，研究人员提出了面向叶片的神经参数化模型——NeuraLeaf。利用展平叶片可近似为二维平面这一关键特性，NeuraLeaf将叶片几何解耦（disentangle）为二维基础形状（即展平叶片）和三维形变。该表征方式能够从丰富的二维叶片图像数据集中学习基础形状，同时还具有同步学习与几何对齐的纹理的优势。为获得解耦且可控的外观空间（appearance space），NeuraLeaf进一步引入了具有自监督（self-supervised）目标的可学习外观空间，既能实现对外观观测的拟合，也能实现以外观为条件的纹理生成。为建模三维形变，研究人员提出了一种新颖的无骨骼蒙皮（skeleton-free skinning）模型，并创建了一个新采集的三维叶片数据集DeformLeaf。研究表明，NeuraLeaf能够成功生成具有高保真（high-fidelity）外观和形变的多样化叶片形状，并实现对RGB-D观测数据的准确模型拟合。代码实现已开源，详见https://github.com/Yrainy0615/NeuraLeaf-APP。

叶片三维重建在农业应用中为植物生长状态分析提供关键信息，在计算机图形学中则是创建虚拟资产的重要环节。参数化三维模型（Parametric 3D Model）在人体建模（如SMPL）和动物建模（如SMAL）等特定领域取得了显著成功。近年来，神经参数化模型（Neural Parametric Model, NPM）通过学习潜码（latent code）与目标形状之间的映射，展现出表征精细几何与形变的能力。然而，面向植物叶片的NPM研究尚属空白。

植物叶片建模面临两大核心挑战。其一，叶片具有极薄的表面几何和高度灵活的形变特性，不同物种间形变差异巨大，难以定义统一的骨骼结构，使得传统基于骨骼的蒙皮顶点模型难以适用。其二，训练NPM通常需要大规模三维数据集，但包含叶片自然形变的三维数据集极为匮乏。此外，现有NPM方法往往侧重几何建模而忽略外观表征，或仅对单一样本独立重建纹理，缺乏可控的外观空间，无法支持外观编辑和跨形状纹理迁移。

针对上述挑战，研究人员提出了NeuraLeaf——首个面向叶片的神经参数化模型。该模型利用展平叶片可近似为二维平面的关键几何特性，将叶片几何解耦为二维基础形状和三维形变，分别由形状潜码z_s和形变潜码z_d表征。这种分解策略使模型能从生物学研究中广泛收集的大规模二维叶片扫描图像数据集学习形状和外观先验，从而有效缓解三维训练数据不足的问题。研究人员进一步引入了以外观潜码z_a为条件的可学习外观空间，通过跨样本块级对比学习和交换一致性正则化等自监督目标，实现了外观与几何的解耦及可控纹理生成。为建模叶片的高度灵活形变，研究人员提出了基于稠密控制点和线性混合蒙皮（Linear Blend Skinning, LBS）的无骨骼蒙皮模型，并构建了包含约300对二维-三维配对数据的DeformLeaf数据集。研究结果表明，NeuraLeaf能够生成具有高保真外观和多样化形变的叶片形状，在RGB-D观测拟合中准确重建叶片几何与外观，性能显著优于传统参数化模型和现有NPM基线方法。该论文发表于《INTERNATIONAL JOURNAL OF COMPUTER VISION》，作为首个面向叶片的神经参数化模型，为生物学研究、农业分析和计算机图形学提供了多功能建模工具，开辟了利用紧凑可优化潜空间进行结构化叶片理解与编辑的新方向。

**关键技术方法：** （1）基于有符号距离函数（Signed Distance Function, SDF）的二维基础形状神经隐式表征，通过形状解码器f_{θ_s}从形状潜码z_s重建叶片掩膜并转换为三角网格；（2）基于U-Net架构和自适应实例归一化（Adaptive Instance Normalization, AdaIN）的条件纹理生成器f_{θ_a}；（3）跨样本块级对比学习损失（PatchNCE）结合交换一致性损失与跨样本一致性损失的自监督训练策略；（4）基于1000个稠密控制点和LBS的无骨骼蒙皮模型，由蒙皮权重解码器f_{θ_w}和形变解码器f_{θ_d}分别预测蒙皮权重与刚性变换；（5）形变映射损失、边界长度损失和面角损失等形变正则化项；（6）基于三维卷积编码器的潜码反演（latent code inversion）与直接潜码优化相结合的观测拟合策略。训练数据包括大规模二维叶片图像数据集（涵盖约300个物种）及自建DeformLeaf数据集（约30个物种、约300对二维-三维配对数据）。

**研究结果：**

**三维观测重建：** 在DeformLeaf测试集（包含30片叶片）上，研究人员将NeuraLeaf与基于PCA的传统参数化叶片模型、B样条模型以及面向人体的NPM扩展方法进行了定量比较。结果表明，NeuraLeaf在倒角距离（Chamfer distance, C-?₂）和法线一致性（Normal Consistency, NC）两项指标上均优于所有基线方法，同时恢复出更丰富的表面细节，包括叶脉等精细几何特征。法线图可视化进一步验证了这一优势。

**单张图像重建：** 研究人员在自然场景图像上评估了NeuraLeaf基于单张RGB图像的重建能力。实验表明，尽管仅依赖单张图像输入（结合现成的单目深度估计器），NeuraLeaf仍能重建出合理的叶片三维几何和与其对齐的外观纹理，证明该模型可在无多视角或RGB-D采集设备的实际场景中应用。

**多叶片重建：** 为模拟实际应用场景，研究人员基于5株植物的顶视RGB-D观测进行多叶片重建实验（以多视角立体视觉重建的密集点云作为真值）。通过对同一物种的叶片共享形状潜码z_s，NeuraLeaf即使在输入深度图中存在遮挡的区域也能合理恢复逐叶片形状，定量和定性结果均表明联合几何-外观拟合策略在密集多叶片场景中的有效性。

**叶片建模应用：** 在CG建模方面，NeuraLeaf支持通过潜码生成、插值和迁移实现叶片形状与外观的灵活创建。共享相同形变潜码可将不同物种的展平叶片一致地变形，验证了形变空间具有跨物种的泛化能力。外观空间支持将外观码迁移至同一叶片形状并进行线性插值，产生平滑合理的外观变化序列。

**叶片表型分析应用：** 研究人员发现学习到的外观潜码形成了按植物物种聚类的结构化分布，且健康与病害样本在同一空间内呈现可分离趋势。在外观潜码上训练的单层线性分类器可实现约94%的病害检测准确率，表明外观空间含有线性可分的叶片健康相关信息，显示出在下游表型分析任务中的应用潜力。

**消融研究：** 形变训练消融实验表明，形变映射损失对形状建模精度贡献显著，边界长度损失和面角损失有助于维持形变过程中轮廓的平滑性。外观训练消融实验表明，交换一致性损失、跨样本一致性损失和PatchNCE损失不仅改善了外观拟合效果，还通过联合几何-外观优化提升了单视角重建的几何精度。潜码反演消融显示，编码器初始化的质量对最终拟合结果有显著影响。控制点数量消融表明，减少控制点数量或固定控制点位置均会显著降低重建精度。

**总结与讨论：** NeuraLeaf通过将叶片解耦为二维基础形状、二维外观和三维形变三个独立潜空间，成功克服了三维训练数据匮乏和叶片形变高度灵活的双重挑战。可学习外观空间配合跨样本块级对比学习与交换一致性正则化，在无需显式配对监督的情况下实现了外观与几何的解耦，使外观码能够跨形状迁移并保持语义一致性。无骨骼蒙皮模型通过稠密控制点和学习的蒙皮权重，为多样化叶片形状提供了统一的形变表达框架。然而，作为从有限数据集训练的参数化模型，NeuraLeaf可能无法准确拟合分布外（out-of-distribution）的叶片形状、形变或外观。当前外观模型采用潜码条件的UV纹理表征，能够捕获全局颜色模式和主要叶脉结构，但未显式建模视角和光照依赖的双向纹理函数（Bidirectional Texture Function, BTF）效应，如反射率、半透明性（translucency）和细微材质变化。

**研究结论：** 本文提出了NeuraLeaf——首个面向叶片的神经参数化模型，用于植物重建与建模。该方法将叶片解耦为二维基础形状、二维外观和三维形变，利用分离的潜码进行表征。这一策略充分利用了大规模二维扫描叶片数据集以及自建的二维-三维配对数据集DeformLeaf，在有限三维监督下学习真实且高度灵活的形变。为以可控方式建模外观，NeuraLeaf引入了具有自监督正则化的可学习外观空间，实现了重建中几何与外观的联合优化以及面向CG资产创建的外观可控纹理合成。实验表明，NeuraLeaf在定量和定性评估中持续优于传统参数化模型和现有NPM基线方法，支持从RGB-D输入和单张图像等真实观测中进行实用的逐叶片重建。总体而言，研究人员的贡献为生物学研究、农业分析和计算机图形学提供了多功能工具，并开辟了利用紧凑可优化潜空间进行结构化叶片理解与编辑的新机遇。未来工作将探索融入基于物理的渲染（Physically Based Rendering, PBR）材质表征，如法线贴图、粗糙度贴图、半透明贴图和反射率贴图，以捕获更丰富的叶片材质变化。