编辑推荐：
为解决低性能硬件上 AI 系统能效及实时分割速度与精度平衡问题，研究人员提出混合方法（HSM 和 HPM）结合 DSMs 与 BMA 开展 PVS 研究。结果显示模型提升速度且保持精度，对边缘计算等场景具重要意义。
随着全球气候变暖加剧，人工智能领域对高能效技术的需求日益迫切。与此同时，智能手机、扩展现实（XR）设备和自动驾驶汽车等终端设备对本地化 AI（on-device AI）的需求激增，这些场景要求 AI 系统能够在低性能硬件上高效运行。然而，传统的深度学习分割模型（DSMs）虽然在图像分割的速度和精度上取得了显著进步，但在低算力设备上运行时，往往面临计算资源消耗大、实时性不足的问题，尤其在人像视频分割（PVS，即从视频中精准分离特定人物与背景的技术，常用于视频会议背景替换、隐私保护等场景）领域，如何平衡分割速度与精度成为亟待解决的难题。例如，现有方法在低性能硬件上可能因计算密集导致帧率低下，或为追求速度而牺牲分割质量，难以满足实时应用需求。
为应对这一挑战，韩国研究人员开展了关于混合模型结合深度学习与传统算法优化人像视频分割的研究。其成果发表在《Engineering Applications of Artificial Intelligence》，旨在通过创新架构提升 PVS 在低算力设备上的效率与准确性。
研究团队采用的核心技术方法包括：
- 混合串行模型（HSM）：结合 DSMs 与边界运动调整（BMA）过程，利用前一帧分割结果调整当前帧边界，减少重复计算。
- 混合并行模型（HPM）：通过并行处理机制，确保高速分割时无帧丢失，适配极低性能设备。
- 边界运动调整（BMA）：基于视频帧间时空相似性，利用传统图像处理算法（如背景减法、边缘检测）优化边界动态调整，降低对深度学习模型的依赖。
研究结果
模型性能验证
在 Jetson Nano、树莓派（Raspberry Pi）和桌面 PC 上测试显示，混合模型显著提升 PVS 速度并维持精度：
- HSM：在桌面 PC 上，帧率从 15.2 FPS 提升至 25.1 FPS，精度损失 0.5%；Jetson Nano 上，帧率从 6.3 FPS 提升至 16.5 FPS，精度损失 1%。
- HPM：桌面 PC 实现 30 FPS，精度损失 0.05%；Jetson Nano 达 29.7 FPS，精度损失 1%；树莓派上帧率从 2.9 FPS 跃升至 29.8 FPS，凸显对低性能设备的适应性。
与传统方法对比
传统 DSMs 在低算力设备上因计算负荷高，难以兼顾速度与精度。而 HSM 和 HPM 通过 BMA 复用帧间边界信息，减少深度学习模型的重复推理，使较慢的 DSMs 也能实现高速分割。例如，HPM 在树莓派上的帧率提升近 10 倍，证明其通过并行处理和传统算法辅助，有效突破硬件性能限制。
结论与讨论
本研究提出的混合模型为低性能硬件上的实时 PVS 提供了新范式。HSM 通过 “串行优化” 平衡速度与能效，适合对精度要求较高的边缘设备；HPM 则以 “并行加速” 实现无帧丢失的高速处理，满足实时流媒体等场景需求。边界运动调整技术（BMA）的引入，创新性地将深度学习与传统计算机视觉算法结合，既保留了 DSMs 的分割精度，又通过帧间信息复用降低计算成本，为轻量化 AI 模型设计提供了新思路。
研究成果对自动驾驶、远程办公、移动视频处理等依赖实时人像分割的领域具有重要意义，尤其为资源受限的边缘设备（如嵌入式系统、物联网终端）提供了可行的解决方案。未来，该混合架构有望进一步与更多轻量化 DSMs 结合，推动高能效 AI 技术在低碳计算场景中的广泛应用。
