基于跨视角对比学习与霍夫投票的SAM3适配三维果实计数方法

《Computers and Electronics in Agriculture》：Adapting SAM3 for 3D fruit counting with cross-view contrastive learning and Hough voting

　　

研究人员将多视角图像在三维空间中融合以计数部分遮挡的果实；通过三维投票分离单张图像中接触或重叠的果实；该方法同时估计果实数量与三维位置；从果园苹果迁移至温室辣椒时仅改变文本提示。现代精准农业广泛利用自动化系统观测与分析作物性状，果实计数直接影响产量估算、采收规划与机器人作业。实际应用中人工计数耗时且大规模果园场景下不可靠，故基于视觉的方法因深度学习在目标检测中的快速发展而被广泛采用。近期视觉基础模型(VFM)在农业感知中日益自动化，但其预训练于大规模通用自然图像，果园与温室中密集枝叶、光照变化、遮挡及果实外观相似会削弱通用模型直接应用效果。早期研究依赖手工特征或深度检测器实现单RGB图二维检测，真实场景性能下降明显。基于YOLO系列的检测器在Young apple、葡萄采摘点定位等任务有进展，但多数仍依赖单视角或视频跟踪，相邻果实严重遮挡时鲁棒性有限。多视角几何通过SfM重建相机位姿与稀疏几何以融合多视角观测，FruitNeRF结合分割与体渲染减少重复计数但计算成本高。三维高斯泼溅(3DGS)以显式高斯基元描述场景，渲染快且利于几何推断，在棉花铃定位与草莓重建中已有应用。SAM具零样本分割能力，其继任者SAM3支持文本驱动开放词汇实例分割。直接将通用基础模型用于密集果实场景存在域偏置：果实互遮、阴影模糊边界、分布密致使实例分离难。从头训练代价高，低秩自适应(LoRA)仅更新少量参数可有效缓解域偏置。研究人员以LoRA适配SAM3（记为SAM3-Adapt）提升农业场景分割，并将跨视角三维推理与基础模型紧耦合：用3DGS聚合多视角信息，设计不确定度加权跨视角对比学习抑制噪声伪标签影响，引入投票机制融合跨视角空间线索稳估果实中心。主要贡献包括：提出SAM3-Adapt的LoRA参数高效适配；提出不确定度感知跨视角对比学习模块；在3DGS上加入霍夫(Hough)投票机制以分离遮挡实例并估中心；构建涵盖不同农业场景与作物类型的数据集；果园苹果适配权重与后处理不变、仅改文本提示即迁移至温室甜椒，证明跨作物三维果实感知可迁移性。

研究背景方面，精准农业对自动化果实计数的需求源于产量估算、采收规划与机器人作业依赖可靠计数，而人工计数在大规模果园中耗时且不可靠。现有方法存在三类问题：其一，单视角或视频跟踪范式在相邻果实严重遮挡、光照剧变、同类果实外观高度相似时鲁棒性不足；其二，开放词汇检测器（如Grounding DINO）输出粗粒度边界框，难以提供像素级跨视角一致监督，错误在多维融合后被放大；其三，通用视觉基础模型（如SAM3）在农业域存在域偏置，零样本分割精度有限，从头微调代价过高。因此研究人员开展将SAM3经参数高效适配后与大尺度多视角三维几何推理融合的研究，以同时提升遮挡下果实计数与三维定位的可靠性。

关键技术方法方面，研究人员整合FruitNeRF（含Blender合成六类果实2942实例及真实苹果583实例）、Fuji-SfM（户外富士苹果园1455实例RGB）与BUP20（温室甜椒RGB-D由RealSense D435i采集）三套公开数据，统一为COLMAP兼容格式，真实场景无完整三维标注者以SAM3初估后经VIA人工校正并借多视角三维结构剔除不可辨实例。适配阶段在SAM3图像编码器Q/K/V线性投影注入LoRA低秩矩阵（秩r=8，仅训2.95M参数占0.1%），掩码解码器冻结；以不确定度加权跨视角对比学习约束同实例跨视角特征一致并抑噪伪标签；以3DGS重建场景高斯基元，将二维实例掩码提升至三维，再对各果实候选区施霍夫投票聚多视角空间证据估中心，聚类得计数与位姿。

研究结果方面，第二章材料与方法表明：2.1节通过多源数据互补（合成提供精确三维真值、Fuji-SfM提供户外遮挡挑战、BUP20提供温室RGB-D）解决农业三维数据稀缺，半自动标注流程确保真值不依赖SAM3预测；2.2节指出封闭集检测器域偏移敏感、开放词汇检测器框级粗粒度不适配3DGS像素监督，故选SAM3经LoRA适配，在Transformer块Q/K/V插低秩矩阵公式h=W₀x+BAx（B∈?^d×r, A∈?^r×k, r?min(d,k)），秩消融显示r=8时平均mIoU由Grounded-SAM2基线0.561升至0.856且训练耗时仅2.1–2.4h，r=32反降至0.846且耗时增76%，故定r=8；2.3节跨视角对比学习以不确定度加权减小伪标签噪声，2.4节霍夫投票在3DGS基元上融合多视角射线交点分离接触果实。第三章实验（原文未全载，依摘要与引言）显示多视角三维融合可计数部分遮挡果，三维投票分拆单图重叠果，同套权重仅改文本提示即由果园苹果迁至温室辣椒，证跨作物可迁移。

讨论与结论部分，研究人员总结：SAM3-Adapt以LoRA在保通用表征同时缩小农业域偏置；不确定度感知跨视角对比学习降低噪声伪标签对三维特征学习干扰；霍夫投票机制在3DGS表达下借多视角空间证据稳估遮挡果实中心并完成实例分离；构建的多场景数据集与跨作物（苹果→甜椒）只换文本提示的迁移实验表明，该方法在户外果园与室内温室均具实用计数与三维定位能力，为密集遮挡场景从二维检测走向三维感知提供可部署范式。

论文发表于《Computers and Electronics in Agriculture》。