《Waste Management》：Self-prompting segmentation framework: an advanced computer vision technique for electro-construction waste valorisation
编辑推荐：
电子废弃物(E-waste)是全球增长最快的固体废弃物类别之一，预计到2030年全球年产量将超过8200万吨。尽管电子废弃物的成分因经济条件、环境政策和消费习惯的差异而具有区域异质性，许多废弃电子产品仍含有大量可回收资源。然而，电子废弃物往往被不安全地处理，如
电子废弃物(E-waste)是全球增长最快的固体废弃物类别之一，预计到2030年全球年产量将超过8200万吨。尽管电子废弃物的成分因经济条件、环境政策和消费习惯的差异而具有区域异质性，许多废弃电子产品仍含有大量可回收资源。然而，电子废弃物往往被不安全地处理，如露天倾倒、焚烧或酸浴处理，释放重金属和有毒化学物质，对生态系统和社区构成严重威胁。2022年，全球仅有22.3%的电子废弃物被正式收集和回收，预计到2030年这一比例将下降至20%。材料回收设施(MRFs)在废弃物资源化中发挥着关键作用，但仍受限于劳动密集型的人工拆解流程。研究人员提出了一种自提示分割框架(SPSF)，一种计算高效的计算机视觉流水线，旨在自动识别电-建筑废弃物(ECW)内的各个子组件。该框架采用基于装配的方法，将两个专门模型集成到顺序模块化流水线中：首先，检测模型扫描输入图像并为每个检测到的组件生成边界框；随后，这些边界框作为空间提示传递给分割模型，生成每个已识别部件的精确像素级掩膜。由于该框架在推理过程中无需人工输入即可自行生成提示，因此被称为"自提示"方法。为使大规模视觉基础模型适应ECW特定特征，该框架采用参数高效微调(PEFT)策略，通过插入小型可训练矩阵至选定层，仅更新一小部分参数，同时保持其余参数固定。实验结果表明，该框架在224.5百万总参数中仅训练1.15%的参数，在分割重叠精度上较基线实现了39.17%的相对提升。该系统兼具高效性和适用性，适合在MRFs中实际部署，有助于推动自动化废弃物分类流程，提高操作安全性，并符合绿色人工智能原则，支持可持续、低影响的模型开发。
**论文解读：自提示分割框架——面向电-建筑废弃物资源化的先进计算机视觉技术**
**一、研究背景与问题提出**
电子废弃物(E-waste)作为全球增长最快的固体废弃物类别，预计到2030年全球年产量将超过8200万吨。快速城市化、技术进步以及电子设备产品生命周期的日益缩短共同驱动了这一增长趋势。尽管电子废弃物的组成因地区经济条件、环境政策和消费习惯的差异而有所不同，许多废弃电子产品仍含有大量可回收资源。然而，电子废弃物往往被不安全地处理——露天倾倒、水体排放、露天焚烧、酸浴处理或人工拆解，导致重金属和有毒化学品释放至空气、土壤和水体中，对生态系统和社区构成严重威胁。2022年全球仅有22.3%的电子废弃物被正式收集和回收，预计到2030年这一比例将下降至20%，反映出电子废弃物产生速度已超过现有收集中心、回收基础设施和材料回收系统的处理能力。
材料回收设施(MRFs)在废弃电子产品资源回收中扮演着关键角色，但仍受限于劳动密集型的人工拆解流程，制约了运营能力并危及工人安全。尽管计算机视觉在废弃物管理领域已有广泛应用，现有研究主要集中于传统建筑垃圾或典型消费类电子废弃物(如笔记本电脑、电路板和家用电器)，而建筑、拆除和翻新活动直接产生的废弃物流——包括电缆、照明系统、光伏(PV)板、电源插座和空调组件等——长期被忽视。研究表明，建筑、拆除和翻新活动至少贡献了全球电子废弃物产生量的20%。这些材料在物理特性上与传统建筑垃圾和标准消费类电子废弃物存在根本差异。研究人员将此类废弃物定义为"电-建筑废弃物"(ECW)。
现有研究主要集中于分类、目标检测或分割任务，而部件级分割——即描绘废弃物中各个子组件的精细边界——在电子废弃物领域仍属空白。这一能力对于实现MRFs中材料特定的自动化拆解和精确资源回收至关重要。此外，大规模视觉基础模型在电子废弃物识别中的应用仍十分有限，且多采用全量微调策略，计算成本高昂且数据需求量大。参数高效微调(PEFT)为数据稀缺条件下的模型适配提供了有前景的替代方案，但其与基础模型在ECW分割中的集成仍未得到探索。针对上述空白，研究人员提出了自提示分割框架(SPSF)，旨在解决以下两个核心研究问题：其一，基于装配的方法能否在真实MRF条件下实现异质ECW物品的精确部件级分割；其二，参数高效微调在有限标注数据和计算资源约束下能在多大程度上提升框架的ECW部件级分割性能。
**二、主要技术方法**
研究人员构建了包含灯泡、电缆、管道、插座和光伏板五类共1000张ECW图像的数据集(每类200张)，图像采集自住宅、商业和工业背景的建筑与拆除现场以及公开在线资源库，涵盖不同光照条件、物体朝向、遮挡程度和物理状态。所有图像均通过Roboflow平台进行部件级目标检测和实例分割标注，涵盖五个ECW类别下的十四个子类别，总计10,497个标注实例。数据按70%训练、15%验证和15%测试的比例划分。框架集成RF-DETR检测器(基于Transformer架构，采用可变形注意力机制)、SAM 2分割模型(224.5百万参数的大规模可提示分割基础模型)和低秩适配(LoRA)技术。训练采用两阶段策略：第一阶段在NVIDIA A100-PCIE GPU(40GB内存)上对RF-DETR进行50个epoch的微调(批次大小8、AdamW优化器、学习率1×10??、输入分辨率728×728)；第二阶段冻结SAM 2图像编码器全部参数，仅通过LoRA矩阵适配1.15%的参数(约2.6百万)，掩膜解码器保持完全可训练，以5×10?3学习率和批次大小8进行50个epoch的训练。训练过程中最小化由类别交叉熵损失和Dice损失组成的复合损失函数。
**三、研究结果**
**3.1 SPSF的检测性能**
RF-DETR在几乎所有指标和物体尺寸上均优于所有YOLO变体和RT-DETR，mAP50达0.706、mAP50:95达0.540，显著超过YOLOv11(mAP50: 0.533, mAP50:95: 0.394)和RT-DETR(mAP50: 0.569, mAP50:95: 0.423)。该性能优势归因于RF-DETR的可变形注意力机制和区域聚焦查询策略，能够增强复杂场景中的目标定位能力并分离重叠实例。小型物体仍是所有模型面临的最大挑战，RF-DETR小型物体mAP50:95仅为0.078，而大型物体mAP50达0.734。
**3.2 SPSF的分割性能**
经LoRA适配后，SPSF在所有评估指标上均实现显著性能提升。整体mIoU从0.500提升至0.696(相对提升+39.17%)，mDSC从0.547提升至0.762(+39.27%)，mAP50:95从0.302提升至0.387(+28.1%)。中大型物体的mAP50改进最为显著(+11.97%和+19.80%)，小型物体改善有限。与基线SAM 2.1-Hiera-large(无LoRA)相比，可训练参数从224.5百万降至约2.6百万，大幅降低了计算开销和GPU内存使用。
**3.3 ECW的类别特定部件级分割**
出口墙板、管道扩散器、灯泡镇流器、灯泡玻璃、光伏板电池和电缆导体的mIoU分别达0.886、0.848、0.924、0.803、0.829和0.827，对应的mDSC为0.914、0.911、0.960、0.868、0.886和0.885。大型且视觉特征明显的组件(如出口墙板、灯泡镇流器和光伏板电池)的mAP值超过0.684。然而，小型、细长或高度遮挡的部件(如光伏板框架、管道主干和出口电缆)的mAP低于0.300，其中光伏板框架在所有指标上表现最差。定性分析识别出两种主要失败模式：一是视觉相似子类别(如出口墙板和安装带)之间的误分类，二是小型或部分遮挡组件(如光伏板框架和管道主干)的欠分割。
**3.4 消融研究**
集成自提示生成器在两个设置下均持续改善整体分割性能(无LoRA时mAP50:95从0.250提升至0.302；有LoRA时从0.325提升至0.387)，证实了自动提示生成的有效性。超参数消融研究系统评估了批次大小、训练轮数、学习率和低秩分解值对分割性能的影响，确定了平衡精度与效率的最优超参数配置。
**四、讨论与结论**
SPSF框架通过集成RF-DETR自提示生成器、SAM 2分割模型和LoRA参数高效微调策略，在仅训练1.15%总参数(224.5百万中约2.6百万)的条件下实现了ECW部件级分割性能的显著提升。该框架展示了在真实MRF条件下处理异质、杂乱场景的鲁棒性，能够精确描绘部件级ECW组件，识别人工拆解中构成安全风险的细粒度组件。尽管在光伏板框架等具有挑战性的类别上仍需进一步改进，且当前数据集覆盖范围相对有限，但框架的模块化、参数高效架构使其具备跨领域适应潜力，可扩展至城市固体废弃物、建筑垃圾、灾后废弃物等其他复杂废弃物流。将框架集成至MRFs中的机器人拆解流水线是自然的发展方向，其部件级分割掩膜可直接指导自动化抓取和拆解策略。参数效率特性支持边缘部署，无需依赖云端推理基础设施即可在MRF传送带或拆除现场实现实时分割。从系统层面看，该框架通过精确识别和回收高价值材料(包括铜、硅电池和稀土材料)，支持向循环经济的过渡；其基于PEFT的设计在训练和推理阶段均最小化能耗，使技术进步与环境可持续性保持一致。
该研究发表在《Waste Management》。
