多媒体物联网（IoMulT）网络中AI赋能的协同流端到端监控框架

《Computer Networks》：AI-enabled cooperative flow end-to-end surveillance framework in Internet of Multimedia Things (IoMulT) networks

　　

摘要

监控系统在监控和记录各种环境中的活动方面至关重要，提供安全、安防、监视和调查服务。传统监控架构存在自动化程度有限、带宽需求昂贵以及架构设计问题等挑战。将监控架构融入多媒体物联网（IoMulT）将带来重大变革。然而，IoMulT系统会收集大量多媒体数据，这可能导致延迟、增加传输成本，并暴露安全漏洞。此外，当前监控系统中IoMulT-云架构存在若干问题，如网络拥塞、处理资源不足和单点故障。本文介绍了一种新颖的监控系统，在协作流环境中融合了AI与IoMulT技术。该系统整合了多媒体物联网（IoMulT）、边缘智能、雾智能、云智能和人工智能（AI）技术。它作为"监控即服务"（Surveillance-as-a-Service）的基础，为解决上述挑战提供了多种可能性。所提出的框架专注于IoMulT网络内的协作流端到端监控系统，通过将网络边缘的物联网设备经由中间雾节点连接到集中式云服务器，从而减少通信开销、传输时间、设备响应时间和网络带宽压力。该框架在雾节点层面促进了实时资源共享、任务卸载和负载均衡。该系统将监控与雾智能相结合，利用深度强化学习和深度Q网络机制进行持续训练并提供反馈，以分析运动检测图像。该原型已在不同阶段实现并进行了评估，与现有技术相比，系统性能和实时事件识别能力得到了显著提升。

引言

监控系统是一种多功能工具，由相互连接的器件、传感器、软件和基础设施组成。它能够有效监控和记录从公共场所、企业到住宅区、交通网络和制造场所等广泛环境中的活动。这些系统提供安全、安防、监视和调查服务。典型的监控系统包括IP摄像头、传感器、麦克风、记录设备、存储系统、通信网络和监控/控制中心。它捕获、处理、存储并分析视频录像、音频录音和环境特征等数据，用于同步反馈分析或进一步调查。此类系统的好处在于具有多种配置，可根据特定意图和情境进行调整，包括闭路电视（CCTV）、基于IP的监控、无线、模拟、移动、隐蔽、远程、智能、生物识别和基于云的监控。这些传统监控架构面临的一些挑战包括：缺乏自动化监控系统、缺乏数据聚合机制（导致无线网络带宽成本极高），以及架构设计、数据收集和汇总仍然困难重重。图1展示了通用的监控系统。

多媒体物联网（IoMulT）[1]、人工智能（AI）、计算机视觉（CV）、雾计算和边缘计算技术的融合有望改变监控系统的有效性。这些技术有可能替代人力，使智能安全系统配备摄像头和多个传感器，以最少的人工干预监控周边环境，识别入侵者，并以极高的精度及时通知监控人员。此外，IP摄像头技术和传感器集成[2]的进步已转向带内分析（in-band analytics），即利用AI从多媒体数据中提取信息。这些解决方案将具有高度成本效益和多用途性，提升众多领域的安全性，并改善服务质量、视频传输质量、速度、精度和鲁棒性等多个方面，为更安全的未来铺平道路。然而，IoMulT系统[3]将从IP摄像头和传感器中收集大量多媒体数据，并通过互联网与云端通信。此外，它还需要将大量多媒体数据从本地IoMulT设备[3]传输到云端，这会导致延迟、增加传输成本并带来安全隐患。监控系统IoT-云架构中的一些主要挑战如下：

- 将大量IoT监控数据传送到云端进行分析可能导致网络拥塞和传输延迟。
- 传统机器学习技术[4]可能不适用于资源严重受限的IoT设备，导致计算资源使用不足或过度使用，影响系统性能和效率。
- AI模型通常依赖集中式云服务器进行训练和推理，容易受到单点故障的影响。
- 当前机器学习方法[4]可能因复杂计算而延迟，限制了实时获取监控数据并及时决策的能力。
- AI算法需要大量处理资源，导致设备响应时间变慢，特别是对能力有限的IoT设备，可能影响监控系统的响应性。
- 目前推理和训练深度学习模型的任务可能导致雾节点与集中式服务器之间负载分布不均，降低系统性能和响应性。
- 将多个雾节点与云服务集成可能导致互操作性问题，限制数据和控制指令的顺利传输。
- 处理瓶颈可能出现在边缘、云端或两者之间，导致数据处理和分析延迟。这会负面影响系统的整体性能和响应性。
- 边缘、雾和云节点之间缺乏反馈系统，导致边缘摄像头故障无法解决，可能对整体系统性能产生不利影响。
- 其他挑战包括计算复杂性、架构设计、技术集成、边缘分析、摄像头协作、数据传输与处理、特征提取、数据聚合以及边缘、雾和云节点之间的通信。

大多数现有监控系统由于传感器原始数据传输、信息整合、在远程中央平台（如云端）进行计算分析以及将指令返回执行器所造成的延迟，难以快速检测、识别和跟踪目标。因此，有必要开发一种能够实现实时监控和监视的架构范式。

本文贡献：本文提出了一种在协作流环境中集成AI与IoT的新型监控系统。该系统整合了多媒体物联网（IoMulT）、边缘智能、雾智能、云智能和AI技术。它作为"监控即服务"的基础，为解决上述挑战提供了多种可能性。本文解决了以下目标：

- 开发IoMulT网络中协作式端到端监控系统的框架。
- 创建能够在IoMulT网络中边缘运行的监控系统。
- 开发能够在IoMulT网络中利用雾计算的监控系统。
- 建立能够在IoMulT网络中启用云计算的监控系统。
- 将具有边缘-雾-云技术赋能的监控系统集成并接口到IoMulT网络中，纳入有效的持续学习和反馈机制。
- 创建一个利用深度Q学习技术实现边缘设备到云环境高效协作数据传输和存储的系统。

所提出的AIoT赋能的云-雾-边缘IoMulT网络监控系统能够高效地捕获、处理、分析和维护监控数据，同时确保即时响应性、可扩展性和韧性。该系统通过将网络边缘的IoT设备经由中间雾节点连接到集中式云服务器，将监控与监视相结合。雾层实现了靠近网络边缘的计算，从而减少核心网络的通信开销。

本文其余部分结构如下：第2节详细介绍了与监控系统相关的基本背景研究，概述了监控系统现有研究和发展。第3节介绍了本文设计所提出的工作所需的初步知识。第4节展示了云-雾-边缘赋能的IoT监控所提出的框架。第5节提供了实验评估得到的实证结果。第6节提供了本文的最终结论。

章节摘要

相关工作

监控数据管理面临成本、可访问性等挑战。云计算提供了解决方案，但面临通信延迟和网络可靠性问题。互联网技术的进步可以改善实时分析和警报机制。雾计算通过实现靠近数据源的现场计算任务来补充云技术。基于IoT的监控系统提供实时监控、远程访问、可扩展性和自动化等优势。集成[2]

初步知识

本节包含所提出框架的引言方面。所提出的框架包含边缘计算、雾计算和云计算。以下是每项的简要说明：

所提出的方法

所提出的系统能够高效地捕获、处理、分析和维护监控数据，确保即时响应性、可扩展性和韧性。所提出的框架专注于IoMulT网络[81]内的协作流端到端监控系统，利用多种技术层级提升效率和功能。具体而言，它通过将网络边缘的IoT设备连接到集中式云服务器来结合监控与监视

实验结果与性能分析

本节提供了实验结果，并对所提出的监控系统进行了全面评估。该设置的操作功能在严格控制的实验室环境中进行了评估。与摄像头相连的边缘和雾节点使用树莓派3（RPi）设备和个人电脑（PC）创建。深度强化学习（DRL）模型使用这些设备的CPU处理进行训练、验证和测试。使用Google云服务器来收集事件数据，结论

未来工作

本文介绍了一种结合人工智能（AI）与物联网（IoT）在协作流环境中的新型监控系统。该系统使用中间雾节点在物联网（IoT）设备与集中式云服务器之间建立连接，从而最小化通信开销和传输时间。该系统采用深度强化学习和深度Q网络方法来增强数据传输和运行效率。

CRediT作者贡献声明

Srikanth Bethu：原创草稿撰写、软件、方法论。Erukala Suresh Babu：概念化。

利益冲突声明

作者声明，他们没有已知的竞争性财务利益或个人关系，这些可能影响本文所报告的工作。

Srikanth Bethu目前于印度特伦甘纳邦瓦兰加尔国立技术研究院（National Institute of Technology, Warangal）计算机科学与工程专业进行研究。研究领域为物联网-人工智能。他毕业于印度海得拉巴Osmania大学，获得计算机科学与工程专业硕士（M.Tech）学位；毕业于印度海得拉巴JNTU大学，获得计算机科学与工程专业本科（B.Tech）学位。

Srikanth Bethu | Erukala Suresh Babu