CollabCam：基于协同推理与混合分辨率成像技术的能效高效普适视觉系统

《ACM Transactions on Internet of Things》：CollabCam: Collaborative Inference and Mixed-Resolution Imaging for Energy-Efficient Pervasive Vision

针对多摄像头部署中高能耗和带宽的问题，本文提出CollabCam系统。该系统利用相邻摄像头视场重叠区域，通过选择性降低共享区域分辨率并引入协作相机的目标检测框作为DNN输入，在保持高检测准确率的同时显著减少能耗和带宽。实验表明，CollabCam相比独立处理，准确率损失不超过5%，能耗降低25-35%，网络流量减少40%左右。

　　随着深度神经网络（DNN）在机器视觉任务中的广泛应用，其性能的显著提升推动了多摄像头系统的部署，特别是在城市、仓库、体育场和校园等场景中，用于目标跟踪、事件检测和人群管理等应用。然而，这些部署往往面临高能耗和网络传输开销的问题。为了解决这一挑战，本文提出了一种名为CollabCam的边缘计算系统，该系统利用相邻摄像头视场（FoV）之间的自然重叠区域，通过混合分辨率帧（MRF）和协作推理机制，显著降低能耗和网络流量。CollabCam结合了两个创新点：（a）每个摄像头在重叠区域以较低分辨率传输图像，从而减少传输数据量；（b）在执行推理任务时，使用其他摄像头检测到的目标边界框作为额外输入，以提高检测准确性。通过在两个基准数据集（WILDTRACK和PETS）以及实际校园部署（CAMPUS）中的实验，CollabCam在保持较高检测准确性的前提下，实现了图像分辨率的显著降低，从而减少了50–60倍的图像大小，对网络传输和能耗带来了显著优化。此外，通过部署基于Raspberry Pi的原型系统，CollabCam在实际环境中进一步验证了其性能优势，显示出约25–35%的系统能耗节省，并在多摄像头部署中保持了相对较高的检测精度。研究还表明，CollabCam的性能提升不仅适用于单类目标检测，还适用于多类检测任务，同时其性能优势随着部署摄像头数量的增加而逐渐减弱，因此建议在部署数量不过度增加的前提下，以实现最佳效果。此外，研究还探讨了CollabCam在不同应用场景下的潜力，包括对移动传感器的适用性以及与其他技术的结合，如利用时间相关性进一步优化推理过程。CollabCam的成果为可持续的户外或混合部署提供了新的思路，尤其是在太阳能供电的场景中，通过减少图像处理和传输的能耗，使得设备能够在更长时间内保持运行，从而推动了绿色计算的发展。