基于RGB-D成像与多模态特征融合的餐厨废弃物语义分割研究及其在可持续食物系统中的应用

《Resources, Conservation & Recycling Advances》：Semantic segmentation for food waste classification using RGB-D imaging

本文提出了一种创新的RGB-D多模态学习方法，通过特征校正与融合模块（FRM）增强跨模态信息交互，结合Segment Anything Model（SAM）优化语义分割精度。在自建的高校食堂餐厨废弃物数据集中，该方法在mIoU（71.55%）和mPA（83.44%）指标上超越现有技术，为自动化餐厨废弃物管理提供了高效解决方案。

　　

¹数据收集

本研究以大学食堂为真实场景进行餐厨废弃物识别。搭建图像采集设备从多所高校食堂收集餐厨废弃物图像数据。食堂每日提供三餐，学生用餐后将餐厨废弃物放置在传送带上，由后勤人员统一处理。如图1(a)所示，采集设备核心组件为奥比中光Gemini 2 RGB-D相机，固定于可调节高度的支架基座。

²餐厨废弃物语义分割结果分析

为确认本方法有效性，我们在自建数据集上进行了全面对比实验。选取4种仅使用RGB数据的方法和3种可同时输入RGB与深度数据的多模态方法。RGB方法包括全卷积网络（FCN）、DeeplabV3+、PSPNet、SegFormer和FoodSAM，其中后者是专门用于食品分割的适配器；多模态方法包括AFNet、CMX和FeatureFusion。所有方法均采用在ImageNet上预训练的ResNet-101作为编码器，输入图像尺寸统一调整为512×512像素。

³讨论

餐厨废弃物管理已成为关乎生态环境、人类健康和经济发展等多方面的紧迫议题。本研究提出的RGB-D特征融合网络通过双模态数据互补，利用三种校正组件实现跨模态特征校准，显著提升分割精度。

⁴结论

我们提出了一种基于RGB-D融合的新型解决方案，可实现餐厨废弃物的自动识别与分割。详细介绍了其组件构成与评估体系，并发布了源自高校食堂真实场景的多模态餐厨废弃物数据集。实验证明本模型在该数据集上表现优异，所提出的三类校正组件有效促进双模态数据融合。