
-
生物通官微
陪你抓住生命科技
跳动的脉搏
基于Segment Anything模型的多传感器融合田间道路可通行区域识别方法研究
【字体: 大 中 小 】 时间:2025年07月27日 来源:Computers and Electronics in Agriculture 7.7
编辑推荐:
为解决农业机械在复杂光照条件下道路识别精度不足的问题,研究人员开发了基于Segment Anything Model(SAM)的FastL-SAM方法,通过融合16通道LiDAR点云与相机图像数据,实现了91.75% MIoU和96.34% Acc的识别性能,处理速度达70ms/帧,为无人农机系统提供了实时、广范围的解决方案。
在智慧农业快速发展的今天,无人农机正逐步取代传统耕作方式。然而,田间道路的复杂环境——变幻的光照条件、动态的障碍物、分叉的小径——给机器视觉系统带来了巨大挑战。现有基于纯视觉的方法容易受到阴影、过曝或欠曝的干扰,而单纯依赖激光雷达(LiDAR)的方案又面临成本高、计算复杂的问题。更棘手的是,当前主流的多模态融合方法要么因鸟瞰图(BEV)投影丢失纹理细节,要么因前视图(FV)的稀疏深度图稠化过程引入误差。
针对这一系列技术瓶颈,中国农业科学院(根据CRediT声明推测)的研究团队另辟蹊径,将计算机视觉领域革命性的Segment Anything Model(SAM)引入农业场景,创新性地提出了FastL-SAM系统。这项发表于《Computers and Electronics in Agriculture》的研究,通过构建包含两种道路类型和三种曝光等级的多模态数据集,开发了基于路面特征的点云提示生成技术,最终实现了在78米识别范围内70毫秒/帧的实时性能,其91.75%的平均交并比(MIoU)比原始SAM提升1.83个百分点。
研究团队运用三项核心技术:首先搭建了集成16通道LiDAR、单目相机和GNSS/IMU的数据采集平台,实现多源数据时空同步;其次提出基于路面几何特征的点云筛选与坐标转换算法,将三维信息转化为SAM的二维提示输入;最后采用量化压缩技术优化处理流程。这些创新使系统既能保持SAM强大的图像分割能力,又克服了农业场景特有的光照敏感性。
在"Materials and methods"部分,研究详细阐述了多传感器标定方案和点云特征提取流程,特别设计了针对田间道路曲率的空间变换算法。"Experiment details"显示,在Tesla A100显卡上使用AdamW优化器训练的模型,通过Albumentation工具增强数据多样性,最终在分叉道路识别等复杂场景展现优异泛化能力。
"Conclusions"部分指出,FastL-SAM以较低成本实现了光照鲁棒性和实时性的双重突破,其78米的识别距离远超传统视觉方法。但研究也坦承,系统在暴雨等极端天气下的稳定性仍需提升。这项技术不仅为无人农机导航提供了新范式,其多模态提示生成思路更为计算机视觉在开放场景的应用开辟了新路径。正如作者强调,当农业机械遇上前沿AI,耕地里的"钢铁侠"正获得越来越智慧的"眼睛"。
生物通微信公众号
知名企业招聘