
-
生物通官微
陪你抓住生命科技
跳动的脉搏
基于混沌优化自适应时空图卷积网络(CSO-ASTGCN)的香菇采摘机器人方法研究
【字体: 大 中 小 】 时间:2025年09月12日 来源:Frontiers in Plant Science 4.8
编辑推荐:
本文提出了一种基于混沌优化自适应时空图卷积网络(CSO-ASTGCN)的人机协同香菇采摘方法,通过集成自适应空间特征图卷积模块(ASF-GCN)、动态时间特征图卷积模块(DT-GCN)和混沌搜索优化(CSO)算法,显著提升了复杂农业场景下人体运动预测的精度(MPJPE降低15.2%);结合GR-ConvNet(GRCNN)抓取姿态估计,构建了柔性控制系统,实现了采摘效率提升31%和蘑菇损伤率降低26%的突破,为智能食用菌采收提供了创新解决方案。
香菇作为兼具经济与营养价值的农产品,其机械化采收仍是现代农业的瓶颈。传统人工采摘效率低、劳动强度大,且无法满足标准化大规模生产需求。香菇的生物学特性(如菌盖纹理与环境相似、密集生长分布、组织脆弱易损)给目标识别、路径规划和操作精度带来严峻挑战。在人机协同系统中,基于计算机视觉的人体运动预测是实现高效协作的核心技术,但现有方法(如LSTM、静态图网络)在复杂农业环境中难以鲁棒捕获时空关联并保证长期预测稳定性。
农业机器人的人机协同技术已成为突破复杂场景作业瓶颈的核心方向。传统农业机器人多依赖预设轨迹或固定规则,在动态人机交互场景中适应性不足。近年来,具身智能技术为动态协作提供新思路,但现有系统在操作员连续动作的长期序列建模方面仍显薄弱。人体运动预测技术从传统序列模型演进至深度学习模型,但在农业人机协作场景中仍存在显著适应性问题:RNN/LSTM面临梯度消失问题;图神经网络(如STSGCN)采用固定图结构,无法适应采摘过程中关节相关性的动态变化;Transformer模型虽优化长期时序建模,但计算复杂度高且缺乏对精细局部运动的捕捉精度。
提出的CSO-ASTGCN模型集成自适应空间特征图卷积模块(ASF-GCN)、动态时间特征图卷积模块(DT-GCN)和混沌搜索优化(CSO)算法。CSO通过混沌映射生成初始解,迭代优化超参数(学习率、批量大小、网络层数、丢弃率)后反馈至训练过程,解决传统优化算法易陷入局部收敛的问题。
ASF-GCN模块动态更新空间约束矩阵,融合静态骨骼先验(Ds)和实时关节交互(Ms),实现上下文依赖的空间关联自适应建模(如抓取动作中的手腕-手指协调)。DT-GCN模块在时间维度对称运作,用滑动卷积替代固定时间窗口,捕获包括运动暂停等非周期性变化的时间模式。
模型引入空间敏感特征增强机制,通过通道和空间敏感度的动态计算与特征融合,增强对关节动态空间约束的提取能力。该机制通过水平与垂直方向特征的选择性感知,提高对不规则运动中关键关节特征的捕获精度。
构建"特征下采样-残差细化-上采样预测"的端到端架构,通过多阶段特征变换逐步细化香菇的形状、纹理和空间位置信息。采用轻量级卷积网络作为编码器,通过四阶段下采样逐步压缩空间维度。引入通道注意力关注菌盖纹理和颜色特征,空间注意力强化边缘和几何结构,残差连接机制缓解梯度消失问题。
通过两个转置卷积和3×3卷积恢复空间分辨率,最终通过三个独立卷积分支输出宽度、抓取角度和质量置信度三个姿态参数。损失函数采用平滑L1损失处理宽度预测,角度编码避免0°与360°间的不连续问题,质量分支采用焦点损失处理样本不平衡。
在CMU和3DPW数据集上的实验表明,CSO-ASTGCN在短期和长期预测中均优于现有模型。在CMU数据集的7种运动类别中,该模型在所有时间点几乎都优于对比模型,特别是在"篮球"和"指挥交通"运动中预测误差最低。在3DPW数据集上,400ms时预测误差为44.22,比最接近的模型DSTD-GCN(49.95)低5.73。
CSO算法优化超参数后,模型在CMU数据集上的平均MPJPE比粒子群优化(PSO)和遗传算法降低8.3%。消融实验验证了ASF-GC模块、DT-GC模块、静态约束和空间敏感特征增强机制对各模块性能提升的重要作用。
在自采的采摘数据集中,CSO-ASTGCN在模拟菌柄抓取和分离的"采摘"动作中表现出显著优势:80ms时误差比TrajCCN降低约24%,320ms时误差比DSGCN降低约9%;在涉及轻柔放置蘑菇篮的"放置"动作中,80ms时误差比TrajCCN降低近49%;在一般"行走"动作中,80ms时误差比DSGCN降低约18%。
GRCNN在康奈尔数据集上的抓取性能评估显示,在图像分割准确率方面优于GGCNN 5.3%,目标分割准确率提高6%。其96.6%的精度对于在密集簇中隔离单个香菇至关重要,推理速度满足机器人采摘通常要求的每帧小于30ms的实时性能。
人机协同实验演示表明,基于CSO-ASTGCN的运动预测结果,机械臂可以提前调整末端执行器的运动轨迹;当操作员手部接近目标香菇时,机械臂已完成抓取角度和力的预配置。系统单次采摘周期明显短于传统人工辅助采摘,在连续采摘多个蘑菇的测试中,因抓取位置偏差导致的蘑菇损伤率显著降低。
CSO-ASTGCN模型通过关键改进有效解决了香菇采摘中的人机协作挑战。ASF-GCN模块增强了关节间的动态空间约束建模,特别擅长捕捉采摘过程中的手腕旋转和指尖操纵等精细运动,关键关节定位误差比缺乏该模块的模型降低12.5%。DT-GCN模块增强了时间依赖性跟踪,确保连续运动(如手臂伸展后抓取)的平滑预测,长期运动轨迹一致性提高9.3%。空间敏感特征增强机制专注于手掌和香菇菌柄等关键区域,模型从复杂背景中区分目标特征的能力提高15.2%。
与现有解决方案相比,CSO-ASTGCN以更少的参数实现了更优性能:在3DPW数据集上平均MPJPE为61.72,优于DS-GCN(65.21),而仅使用0.24M参数。与GR-CNN抓取姿态估计集成后,系统将人机交互延迟减少30%,蘑菇损伤率降至<5%,显著优于传统反应式控制系统。可视化结果证实,该模型在类似采摘的场景中准确重建手势细节(如手腕角度偏差<15°),验证了其在动态农业环境中的实用价值。
尽管结果令人鼓舞,但我们的模型仍有需要进一步研究的局限性。在操作员手部被密集蘑菇簇严重遮挡的场景(遮挡率>60%)中,我们模型的MPJPE平均增加23%。这是因为仅RGB输入缺乏深度信息,使得图卷积层难以提取被遮挡关节的特征。在未来工作中,我们计划集成深度传感器以增强鲁棒性。对于快速非周期性运动,模型对手腕旋转角的预测误差达到±8°,导致抓取失败率12%。这一局限源于时序建模模块捕捉突变运动中短期依赖关系的能力不足,我们将探索自适应时间窗口机制和基于注意力的架构来解决这一问题。
未来工作将聚焦三个方面:(1)使用RGB-D相机构建多环境采摘数据集,通过人机协同标注增强模型在真实世界不确定性下的现场泛化能力;(2)通过从全尺寸CSO-ASTGCN进行知识蒸馏开发轻量级模型,实现在资源受限农业机器人(如NVIDIA Jetson Nano)上的嵌入式部署;(3)扩展至草莓和蓝莓等软性水果蔬菜的采摘,验证方法在不同作物间的普适性,推动智能农业装备的大规模应用。
本研究提出了基于CSO-ASTGCN的香菇采摘人机协同方法,解决了传统采摘效率低和损伤率高的问题。CSO-ASTGCN模型集成ASF-GCN进行空间约束建模、DT-GCN捕获时间依赖关系、CSO优化超参数,实现了卓越性能:仅用0.24M参数就将平均MPJPE降低6.7%(在3DPW上为61.72),优于最先进方法。空间敏感特征增强机制强化了精细关节运动捕捉,确保在动态场景中可靠预测操作员意图。
与GR-CNN抓取姿态估计集成后,系统显著提升实际性能:单次采摘周期缩短22%,蘑菇损伤率降至<5%,人机交互延迟减少30%。该解决方案不仅适用于香菇,还具有应用于其他精细农产品的潜力,推动精准农业和智能农业发展。
生物通微信公众号
知名企业招聘