《Sensors and Actuators A: Physical》:Event-driven waste classification using a TENG intelligent surface and local ConvNeXt inference
编辑推荐:
•Cu/FEP TENG将表面接触与事件感知集成于一体。•TENG脉冲触发图像采集与本地ConvNeXt-Small推理。•相比连续运行,每300秒完成十项任务时,系统平均功耗降低42.2%。•在100次现场试验中,四类分类预测有97次正确。引言全球人口增长和快速城市化导致城
- •
Cu/FEP TENG将表面接触与事件感知集成于一体。
- •
TENG脉冲触发图像采集与本地ConvNeXt-Small推理。
- •
相比连续运行,每300秒完成十项任务时,系统平均功耗降低42.2%。
- •
在100次现场试验中,四类分类预测有97次正确。
引言
全球人口增长和快速城市化导致城市固体废弃物大幅增加,给现有废物管理系统带来巨大压力[1]、[2]、[3]。因此,高效的垃圾分类对于减少环境污染和提高资源利用率至关重要。然而,当前的分类方法仍高度依赖人工操作或连续运行的传感系统,这些方法受限于效率低、人工成本高和能耗大[4]、[5]、[6]、[7]、[8]、[9]、[10]。
基于视觉的系统通过形状、纹理和颜色特征识别垃圾[11]、[12]、[13],但连续采集和推理会在投放事件之间消耗能量。摩擦纳米发电机(TENG)可将机械交互转换为电信号,因此可在不电激励换能器的情况下提供事件信号[14]、[15]、[16]、[17]。TENG界面已被用于人机交互和环境感知[18]、[19]、[20]、[21]、[22]。近期的材料进展包括功能化金属有机框架、MXene-硅胶复合材料以及用于触控触发监测的复合纳米纤维[23]、[24]、[25],以及混合压电-摩擦纳米纤维和导电凝胶器件[26]、[27]、[28]。这些研究确立了机械生成传感信号的可行性;识别被丢弃物体的视觉身份还需要额外的信息源。
事件驱动视觉和触觉-视觉融合提供了在减少不必要处理的同时保留任务相关信息的途径[29]、[30]、[31]。人工皮肤、静态和动态摩擦压力传感器以及神经网络辅助触觉感知方面的进展,扩展了从机械接触中可获得的信息[32]、[33]、[34]、[35]、[36]。固-液水杯发电机解决了能量收集和液体感知问题[37],而神经形态器件则在传感器内部处理视觉信息[38]。当前的核心问题在于,机械事件界面如何启动基于传统相机的垃圾识别,以及当该界面与本地计算平台集成时会产生怎样的功耗和可靠性权衡。
本文采用Cu/FEP接触-分离式TENG配合调理后的GPIO输入和本地部署的ConvNeXt-Small分类器来解决该问题。Cu/FEP接触表面既作为机械交互界面,也作为事件感知元件,将感知功能集成到表面组件中,且无需对换能器进行电激励。与本文所使用的离散机械按钮相比,该结构提供了一种表面集成的步进交互输入。ConvNeXt已被应用于垃圾识别[39]、[40]以及其他分类和检测任务[41]、[42]。我们的贡献在于事件感知、图像采集和本地推理的集成与实验评估,而非新的摩擦材料或网络架构。本文通过电气记录、机械开关参考、重复功耗测量和现场分类测试,来区分换能器响应、数字触发和应用性能。
章节摘要
系统架构与TENG设计
图1a展示了预期的垃圾投放场景和系统架构。与TENG的机械交互产生一个脉冲,该脉冲经过整流器和信号调理电路后到达Orange Pi 5B的GPIO输入端。随后应用程序采集图像,在本地运行ConvNeXt-Small,并显示预测的垃圾类别。计算机、摄像头、调理电子元件和显示器使用外部电源供电。TENG仅提供感知信号,而非
结论
集成系统展示了如何利用机械生成的事件信号调度本地视觉识别,并减少投放事件之间的不必要计算。其贡献在于对该已评估的系统集成。所测量的功耗降低适用于测试的稀疏事件工作负载,而视觉硬件仍需外部供电。使用额外独立获取的物体和会话集进行分类,并结合不同事件速率下的测量,将会
伦理声明
根据适用的机构指南,无需伦理委员会审批开展非侵入式步进实验。所有五名参与者均提供了书面知情同意,其隐私权得到尊重。
CRediT作者贡献声明
张燕:撰写—审阅与编辑、监督、资源、项目管理、方法、资金获取、概念化。韩伟华:撰写—审阅与编辑、监督、资源、项目管理、资金获取、概念化。宋清:可视化、验证。曹志:可视化、验证、数据整理。曹洋洋:可视化、验证、软件。谢雨:撰写—原稿、可视化、验证、方法、调查,
生成式人工智能及人工智能辅助技术在写作过程中的声明
在本工作的准备过程中,作者使用了ChatGPT(OpenAI)以改进稿件的语言、可读性和清晰度。使用该工具后,作者根据需要审阅并编辑了内容,并对已发表文章的內容承担全部责任。
竞争利益声明
作者声明,他们不存在可能影响本文所述工作的已知竞争经济利益或个人关系。
谢雨是兰州大学物理科学与技术学院物理学博士研究生。她的研究聚焦于摩擦纳米发电机、自供电触觉传感器和智能传感系统。
谢雨|曹洋洋|曹志|宋清|李聪|康孟哲|黄婧|韩伟华|张燕