CIDR-MobileNet：基于单目伪深度与跨模态特征融合的辣椒地上部生物量估算方法

《Agriculture》：CIDR-MobileNet: A Monocular Pseudo-Depth and Cross-Modal Feature Fusion Approach for Chili Pepper Above-Ground Biomass Estimation

　　

准确、实时的地上部生物量（Above-Ground Biomass, AGB）估算对于智能辣椒采收至关重要。本研究提出CIDR-MobileNet，一种轻量级端到端框架，旨在解决现有方法中破坏性取样、依赖额外深度传感器及回归鲁棒性弱等局限。研究人员利用Depth Anything V2由单视角RGB图像生成伪深度图（Pseudo-Depth Map），在不增加额外硬件成本的前提下提供低维结构信息；设计跨模态特征交互融合（Cross-Feature Interactive Fusion, CFIF）模块自适应融合RGB纹理与伪深度几何特征；采用多分支分布回归头（Multi-Branch Distribution Regression Head, MDBR-Head）将AGB预测建模为概率任务以提高对遮挡和噪声的鲁棒性，并引入排序损失（Ranking Loss）以保持预测值的相对顺序。基于275份田间辣椒样本十折交叉验证，该模型取得决定系数（R2）0.972、平均绝对误差（MAE）174.56 g、均方根误差（RMSE）230.74 g及平均绝对百分比误差（MAPE）9.56%，参数量仅3.28 M。对比实验表明CIDR-MobileNet优于主流轻量网络且保持高推理效率（CPU延迟10.56 ms）。该方法在预测精度、硬件成本和实时性能间取得良好平衡，为精准农业中非破坏性生物量监测提供了实用方案。

论文解读：CIDR-MobileNet——基于单目伪深度与跨模态特征融合的辣椒地上部生物量估算研究

《Agriculture》刊载的本研究针对辣椒（Capsicum annuum L.）智能化采收场景，指出现有作物地上部生物量（Above-Ground Biomass, AGB）获取依赖破坏性取样，耗时费力且无法在线感知；单纯RGB图像缺乏三维空间表征，难以应对复杂冠层遮挡；激光雷达或结构光等主动深度传感器成本高昂、体积大且计算密集，不便在移动田间设备上实时部署；现有RGB-D融合多采用简单拼接或加权求和，缺乏有效的跨模态交互机制，且常规点值回归忽视生物量分布特性及样本间秩关系，模型鲁棒性不足。为此，研究人员提出名为CIDR-MobileNet（Cross-modal Interactive fusion Distribution Regression MobileNet）的轻量级双分支端到端深度学习框架，以单目RGB图像经Depth Anything V2生成的伪深度图替代主动深度传感器，通过跨模态特征交互融合模块（CFIF）与多分支分布回归头（MDBR-Head）及成对排序损失实现高精度AGB连续值回归。经275份新疆沙湾市田间辣椒样本植物级十折交叉验证，模型R²达0.972，MAE为174.56 g，RMSE为230.74 g，MAPE为9.56%，参数量3.28 M，CPU推理延迟10.56 ms，显著优于基准拼接融合及主流轻量网络，可在边缘设备部署为采收机提供在线生物量感知，对智能决策与产量预估具重要应用价值。

主要关键技术方法

研究人员于新疆辣椒田使用搭载45°俯拍RGB相机的移动采收平台采集335幅原始图像，经清洗筛选获得275份健康植株一一对应图像—生物量对（破坏性取样鲜重为真值），按植物级划分十折交叉验证。使用预训练Depth Anything V2（不微调）从原分辨率RGB生成同尺寸灰度伪深度图。构建以MobileNetV3-Small为骨干的双分支网络分别提取RGB三通道与伪深度单通道特征（首层通道适配与ImageNet-1K预训练初始化），输出576通道特征图进入CFIF模块——显式计算差异特征α_diff×(F_RGB?F_Depth)与乘积特征α_prod×(F_RGB⊙F_Depth)，拼接四组特征（原双模+差异+乘积）经1×1卷积压缩与BatchNorm及Hard-Swish激活，加残差连接β×(F_RGB+F_Depth)/2得融合特征。融合特征送入MDBR-Head：全局语义分支（全局平均池化GAP+全连接）；局部分支（3×3深度可分离卷积+GAP+全连接）；分布回归分支（GAP映射至K维Softmax概率分布过预设生物量区间Bin，期望值为分布预测）；三分支输出经全局特征生成动态权重Softmax融合并加线性残差全连接层。训练采用分段策略：前10轮仅Huber Loss，之后联合成对边界排序损失（仅当归一化生物量差绝对值>0.1时计入，λ=0.3），评估指标为R²、MAE、RMSE及MAPE，统计显著性做配对t检验。

研究结果

3.1. Experimental Setup and Evaluation Metrics（实验设置与评估指标）

研究人员在RTX 4060笔记本GPU、PyTorch 2.6.0环境下设定Batch Size与学习率等超参数，选用R²、MAE、RMSE及MAPE四项回归指标综合评价，明确排序损失仅辅助优化不以排位指标为主评。

3.2. Multi-Modal Effectiveness Analysis（多模态有效性分析）

通过RGB单模、伪深度单模及双模态简单拼接对比发现，RGB单模（R²=0.943，MAE=241.12 g）优于Depth单模（R²=0.923，MAE=311.64 g），说明颜色纹理是主导信息；Depth单模MAPE较低（17.78%）且折间波动小，提供稳定空间结构线索；双模态简单拼接融合（R²=0.955，MAPE=14.86%）全面优于单模，证实RGB外观与伪深度结构具互补性，但简单拼接未充分挖掘跨模态关联，需更深层交互机制。

3.3. Comparative Experiments（对比实验）

将CIDR-MobileNet与MobileNetV3-Large、ShuffleNetV2、GhostNetV3-Small、EfficientNet-B0、MobileViT-S、Tiny ViT-5M及RepViT-0.9等同输入对比。CIDR-MobileNet（Params=3.28 M，FLOPs=0.18 G，CPU延迟10.56 ms）取得R²=0.972、MAE=174.56 g、RMSE=230.74 g、MAPE=9.56%，较最强竞品RepViT-0.9参数量减75%、计算量减95%、速度快5倍且MAE相当（174.56 vs 175.71 g），较MobileViT-S MAE降低26.5%，验证轻量化与高精度兼得。

3.4. Ablation Experiments（消融实验）

以双分支简单拼接点回归为基线（MAE=273.64 g，R²=0.9553）：单独引入CFIF使MAE降至234.37 g；单独引入MDBR-Head使MAE降至214.68 g，R²升至0.9592；单独引入排序损失使MAE降至219.82 g；三者组合（完整CIDR-MobileNet）MAE最低174.56 g，R²最高0.9715，各模块具独立贡献且协同增效。

3.5. Visualisation Analysis（可视化分析）

十折训练/验证损失曲线快速下降且无过拟合发散；预测值与真值散点紧密沿y=x分布（整体R²=0.967近折均值0.972）；残差近似零均值（12.09 g）近正态分布，无明显系统偏差，高生物量区残差略增大反映异方差性；十折R²介于0.903~0.978（均值0.965，标准差0.022），证明模型稳定性与泛化能力。

讨论与结论翻译

讨论指出CFIF通过显式差异与乘积特征捕获跨模态互补优於简单拼接与对比学习；MDBR-Head将生物量预测转为区间分布期望并对遮挡噪声具鲁棒性，动态加权适应不同植株形态；Depth Anything V2生成的相对伪深度虽非度量深度但仍提供足够冠层结构信息提升RGB单模性能；植物级十折交叉验证避免同株数据泄露致性能虚高。统计配对t检验显示CIDR-MobileNet较基线及各对比模型p<0.05~0.001，增益具显著性。局限性含单地区单季275样本、未对Depth Anything V2农业域微调、仅预测鲜重及排除病虫损伤株，未来拟扩大多站点多季节数据集、探索域适应与少样本学习、模型量化剪枝及采收机Jetson平台实地测试。

结论（Conclusons）

研究人员提出CIDR-MobileNet轻量级双分支网络用于辣椒AGB精确估算，以单目伪深度替代主动传感器实现低成本高精度田间监测。十折交叉验证结果表明：伪深度有效弥补RGB信息不足，双模态融合后MAE=174.56 g、RMSE=230.74 g、R²=0.9715、MAPE=9.56%；CFIF模块与MDBR-Head相较基线使MAE降低36.2%、R²由0.9553升至0.9715；分布回归增强对遮挡与光照变化的鲁棒性；模型仅3.28 M参数、0.18 GFLOPs、CPU延迟10.56 ms，较RepViT-0.9参数量减75%、计算减95%、速度提5倍且精度相当，较MobileViT-S MAE降26.5%。综上，CIDR-MobileNet以极低硬件成本实现高精度生物量预测，为智能农机实时监测提供可行方案，后续工作将聚焦模型量化与多站点验证。