《Cleaner Waste Systems》:Evaluation of vision–language models for waste classification: Zero- and few-shot with a training-free tip-adapter
编辑推荐:
准确的废弃物分类对高效回收至关重要。对于生活垃圾,不断变化的回收政策以及消费品中新材料的引入持续重塑各区域和随时间的分类类别。这些变化对针对特定分类任务训练的现有基于传感器的分选系统提出挑战,而通过全监督重训练恢复精度成本高昂,因其需要新的标注数据和完整的模型
准确的废弃物分类对高效回收至关重要。对于生活垃圾,不断变化的回收政策以及消费品中新材料的引入持续重塑各区域和随时间的分类类别。这些变化对针对特定分类任务训练的现有基于传感器的分选系统提出挑战,而通过全监督重训练恢复精度成本高昂,因其需要新的标注数据和完整的模型更新。研究人员考察基础模型能否以无标注或极少标注样本实现准确的基于图像的废弃物分类。研究人员分析了多模态大语言模型(MLLM)、视觉-语言模型(VLM)、Vision Transformer(ViT)和基线CNN等现有方法在四个数据集(包括一个新的食品与非食品包装数据集)上的表现,标注样本量各异。进一步,研究人员对现有方法提出改进,如为MLLM引入思维链提示(chain-of-thought prompting),以及为VLM引入集成提示(ensemble prompting)和Tip-Adapter。研究表明,MLLM在零样本分类上表现良好,较大模型如GPT-4o在少样本下进一步提升,但工业规模推理的计算成本不可行。对于较快的零样本分类方式,VLM在TrashNet上达到90.4%准确率,相比之下CNN通常需要数百张标注图像才能达到类似性能。仅使用每类10张标注示例的免训练Tip-Adapter,较零样本VLM基线将宏F1提升8.1个百分点。总体而言,研究人员提出了面向废弃物分类的语料驱动、免训练方法指南。
研究背景方面,废弃物管理对资源回收和污染减排十分关键,但生活垃圾的分类边界受政策、设施能力和市场驱动持续发生"分类法漂移(taxonomy drift)",传统基于CNN或ViT的全监督视觉分选系统在新材料、新类别出现时需重新采集标注并重训练,成本高且停机时间长。基础模型的出现使分类从全监督转向零样本与少样本迁移,其中视觉-语言模型(VLM,如CLIP)将图像与文本映射到共享嵌入空间,多模态大语言模型(MLLM,如LLaVA、GPT-4o)可通过提示词实现开放词汇分类。研究人员在MVML'25会议论文基础上,扩展零样本与少样本方法并在四个数据集上系统评估,试图回答"在每类0至10张标注下如何用免训练方式维持分类精度"这一问题。该研究发表于《Cleaner Waste Systems》,对智能垃圾桶和工业前端预分选适应设施级规则具有直接工程意义。
关键技术方法上,研究人员采用冻结的EVA-CLIP-18B作为图像-文本编码器,在零样本下通过79个模板乘5个同义词(共395条提示)做文本侧集成求类中心,与图像嵌入算余弦相似度;少样本下采用1近邻(1-NN)图像匹配、跨模态文本描述近邻,以及改进的免训练Tip-Adapter——将提示集成文本原型与少量支持图像缓存分支以残差加权(α=0.2)融合,温度τ=0.1稳定亲和度,全程无梯度更新。MLLM侧采用两阶段管道:思维链(CoT)推理加标签抽取,少样本时注入训练集硬例图-标对。评估数据集含TrashNet(2527张六类)、RealWaste(4808张九类 landfill 场景)、MultiWaste(245张传送带多标签)及作者新建FPWaste(2688张食品/非食品包装二分类,含Lobbe RSW GmbH提供物品与线扫图像)。
研究结果部分,引言指出分类法漂移定义与智能桶动机。相关工作综述了工业传感分选、元/少样本学习、VLM提示学习、缓存适配器及MLLM开放词汇分类,并定位本研究与MVML'25关系。方法节表明:VLM零样本中提示集成将文本嵌入推向图像簇中心,优于单标签与纯模板;VLM少样本近邻显示图像嵌入比文本描述嵌入类分离更强;Tip-Adapter残差融合在1至10 shot下宏F1稳定高于零样本文本分支,α=0.2、τ=0.1为跨数据集固定最优。MLLM零样本两阶段CoT在模糊规则下灵活但延迟高;MLLM少样本注入硬例可提升GPT-4o精度但推理成本陡增。数据集节说明FPWaste因复合材质、品牌和残留使语义边界紧致。实验设置节固定超参与 episodic 100回合验证选参。
讨论与结论翻译浓缩为:研究人员证实VLM零样本经提示集成可在TrashNet达90.4%准确率,每类10张支持的免训练Tip-Adapter较零样本基线宏F1提8.1点;MLLM零样本表现好但工业规模成本不可行;CNN需数百标注方能匹敌VLM零样本。论文给出语料驱动、免训练适应分类法漂移的操作指南:类别变更时仅改文本提示或补少量图即更新,无需重训。该工作为生活垃圾前端视觉分选提供低标注、低停机、设施级可定制路径。