《Computers and Electronics in Agriculture》：Unified gated basis modulation for agricultural virtual-to-real translation
编辑推荐：
•Agri-UGBM可实现参数化数字孪生农场的结构保留式转换。•通过对结构、时间步长和文本的联合调控，可提升残差控制的效率。•该方法在真实感与结构保留之间取得了优于现有基准方法的平衡效果。•在实地评估中，该模型生成的图像有助于提升玉米分割的准确性。引言参数化虚拟农场为构建结构可控
- •
Agri-UGBM可实现参数化数字孪生农场的结构保留式转换。
- •
通过对结构、时间步长和文本的联合调控，可提升残差控制的效率。
- •
该方法在真实感与结构保留之间取得了优于现有基准方法的平衡效果。
- •
在实地评估中，该模型生成的图像有助于提升玉米分割的准确性。
引言
参数化虚拟农场为构建结构可控的农业场景提供了低成本且实用的方案。通过调整行距、植株间距、植株姿态、地面形态以及相机视角，这类虚拟农场能够生成具有明确布局结构的虚拟图像，用于视觉模型的训练。然而，这些渲染出的图像在纹理特征、光照模式、土壤外观以及成像噪声等方面仍与真实农田图像存在差异。这种虚实外观上的差距会降低基于虚拟数据训练的模型的泛化能力，尤其是当后续任务需要依赖作物行、植株轮廓和田地边界等精细结构时（Wang, 2024; Shahriar等人，2025）。
因此，农业虚实转换的核心挑战并非简单的风格迁移，而是如何同时实现外观真实感与结构精确性的控制。如果结构约束过于宽松，生成图像虽看似真实，却可能偏离虚拟几何结构；而若结构约束过于严格，虽然能保留边界，但图像可能会出现不自然的纹理或语义多样性不足的问题。对于参数化虚拟农场而言，这一矛盾尤为重要，因为它们的价值恰恰在于能够提供可在转换后依然保持可用性的可控几何结构。
为解决这一问题，本研究提出了Agri-UGBM——一种专为参数化虚拟农场设计的结构保留型虚实转换框架。该框架保留了Stable Diffusion的核心架构，仅将轻量级的统一门控基函数调制模块引入ControlNet条件残差注入路径。UGBM将结构边缘图、扩散时间步长以及语义提示整合到统一的调制空间中，再利用生成的动态系数来组合正交的低秩基函数。这样一来，注入到去噪网络中的残差就可以根据空间结构、去噪阶段以及语义目标进行灵活调控，而不会显著增加模型的复杂度。
本研究的主要贡献如下：
(1) 提出了一种名为Agri-UGBM的结构保留型虚实转换框架，专门用于参数化虚拟农场，将该类的农业虚实生成问题转化为ControlNet条件残差注入路径上的结构感知型调制问题。
(2) 设计了UGBM模块，通过统一的调制空间和正交低秩基函数，实现对结构条件、扩散时间步长以及文本提示的协同利用，从而实现高效的参数化条件注入。
(3) 通过大量实验验证，该方法在图像真实感、结构保留能力、语义可控性以及后续分割任务的表现方面均更为优异，能够为农业视觉任务生成更具实用价值的转换图像。
与传统的ControlNet式条件注入方法不同，UGBM并非简单地向去噪网络添加固定的结构残差，而是会根据结构、时间步长以及语义条件预测出具有时空适应性的系数，再利用这些系数来组合受约束的低秩基函数。这样的设计将任务定义、条件组织以及高效参数调制整合到了同一个结构保留型生成框架之中。
章节要点
相关研究
由于具备高保真度和稳定的生成过程，扩散模型近年来已成为图像合成与转换领域的重要技术手段。Yang等人（2024）和Croitoru等人（2023）的综述总结了基于扩散的视觉生成技术的快速发展态势。潜在扩散模型通过在压缩的潜在空间中进行扩散操作，降低了训练和推理的成本（Rombach等人，2022）。在此基础上，Imagen、SDXL以及Diffusion Transformer等模型进一步提升了性能
数据来源与材料
为在参数化虚拟农场场景中评估所提出的方法，本研究采用了跨域测试策略，即用真实数据训练模型，再用虚拟数据开展推理测试。在训练阶段，使用真实的农业图像及对应的分割标注，来学习如何将结构条件和文本提示映射为真实农田的外观特征。研究过程中未使用任何成对的真实-虚拟图像或对齐过的虚拟场景，也未用虚拟图像来训练虚实转换生成模型。在推理阶段，则
与现有最优方法的对比
图3的(a–f)展示了八种方法在VegAnn、BoniRob和CWFID数据集上的FID值和Edge F1值对比情况，KID值则会在正文以及最强基准方法的重复实验总结中给出。总体来看，UGBM在三个数据集上均获得了最低的FID值和KID值，以及最高的Edge F1值，这表明在当前实验设置下，该模型在视觉真实感与结构保留之间取得了良好的平衡。与现有的最优方法相比
UGBM为何能同时提升真实感与结构保留能力
3.1节“数据来源与材料”以及3.2节“整体框架”中的实验结果表明，UGBM的优势并非来自某个单一模块的加入，而是源于条件组织与残差调制的协同设计。在农业虚实转换任务中，不仅要生成更真实的纹理，还必须在整个外观转换过程中保留作物行、植株轮廓和田地边界等对任务至关重要的结构特征。现有的方法往往难以同时满足这两方面的需求
结论
本研究提出了Agri-UGBM框架，用于实现从参数化虚拟农场到真实农业场景的结构保留型虚实图像生成。该框架无需修改扩散模型的核心架构，只需将统一的门控基函数调制模块插入ControlNet条件残差注入路径即可。通过在统一调制空间中生成动态系数，并将其与正交低秩基函数相结合，该框架能够对多尺度特征实现受约束的精准调制
CRediT作者贡献说明
马若飞：论文撰写——审稿与编辑、论文撰写——初稿、软件开发、方法设计。刘晓磊：可视化处理、项目监督、数据整理。张毅：方法设计、实验分析。杜月峰：项目监督、资源协调、项目管理、资金申请、概念构思。刘磊：可视化处理。杜明伟：项目监督。郭志强：项目监督。
利益冲突声明
作者们声明存在以下可能被视为潜在利益冲突的财务利益/个人关系：杜月峰表示其研究工作得到了中国国家自然科学基金的资金支持。其他作者则声明不存在任何可能影响本文研究成果的已知财务利益或个人关系。
致谢
本研究得到了中国国家自然科学基金的资助（项目编号：32572212）。
Ruofei Ma|Xianglei Liu|Yi Zhang|Yuefeng Du|Lei Liu|Mingwei Du|Zhiqiang Guo
