《Electronics》：Real-Time Super-Resolution for Drone Imagery: A Low-Power, Low-Precision Approach with Hardware Acceleration
编辑推荐：
本文提出了一种硬件-软件协同设计框架，用于在资源受限的边缘平台上实现低质量视频的实时超分辨率（Super-Resolution, SR）。其核心是一个紧凑的残差网络，通过一次性（Once-for-All, OFA）神经架构搜索在残差通道注意力网络（Residu
本文提出了一种硬件-软件协同设计框架，用于在资源受限的边缘平台上实现低质量视频的实时超分辨率（Super-Resolution, SR）。其核心是一个紧凑的残差网络，通过一次性（Once-for-All, OFA）神经架构搜索在残差通道注意力网络（Residual Channel Attention Network, RCAN）设计空间中获得，该网络经过常规训练，然后使用量化感知训练（Quantization-Aware Training, QAT）进行优化，以便部署在仅整数运算的深度学习处理单元（Deep-Learning Processing Unit, DPU）上。在自定义的高层次综合（High-Level Synthesis, HLS）预处理流水线中应用了循环分块和数据流调度，该流水线为DPU提供数据，并通过逐指令消融实验分离了每个优化对布局后资源使用和时序的影响。部署在Kria KV260开发板上，网络输入为128×128，INT8网络在×2倍率下以5.38 W的实测板级功耗维持96.37 FPS，对应6.32 Mpixel/s的重建输出和1.17 Mpixel/J的能量效率，占用了63.2%的器件查找表（Look-Up Table, LUT）预算，并在275 MHz下闭合时序。相对于FP32模型，INT8量化在Set5数据集上导致峰值信噪比（Peak Signal-to-Noise Ratio, PSNR）损失 dB，在Set14上损失 dB，在B100上损失 dB，在Urban100上损失 dB，该损失主要由激活量化（而非权重量化）主导（占81–90%）。在从VisDrone2019中抽取的、作为系统目标运行域的保留无人机子集上，该网络以 dB和 结构相似性指数（Structural Similarity Index, SSIM）进行重建。这些结果表明，一个23层的残差超分辨率网络可以在5.38 W的功耗预算内部署在低成本、仅整数的边缘FPGA上，从而使得该方法适用于自主系统、机器人和空中监视。
**论文解读：无人机图像实时超分辨率——低功耗、低精度与硬件加速的协同设计**
**研究背景与问题**
无人机（UAV）搭载的摄像头在低光照、运动模糊或带宽受限条件下常采集到低质量视频，需通过超分辨率（Super-Resolution, SR）技术提升空间分辨率。然而，传统SR方法（如深度卷积神经网络）计算量大、功耗高，难以在边缘设备（如FPGA）上实现实时推理。现有边缘部署方案面临三大瓶颈：一是模型体积与精度的权衡，二是整数运算（INT8）量化引入的精度损失，三是硬件加速流水线的优化复杂度。因此，亟需一种硬件-软件协同设计框架，在极低功耗（<6 W）下实现实时SR，同时保持可接受的图像质量，以满足无人机自主飞行、机器人导航和空中监视等场景的实时性要求。
**研究内容与结论**
研究人员提出了一种基于硬件-软件协同设计的实时SR系统，核心组件包括：通过一次搜索（Once-for-All, OFA）神经架构搜索在残差通道注意力网络（Residual Channel Attention Network, RCAN）设计空间中自动搜索紧凑残差网络结构；模型经常规训练后，采用量化感知训练（Quantization-Aware Training, QAT）优化为INT8精度；部署时，在Xilinx Kria KV260 FPGA上使用自定义高层次综合（High-Level Synthesis, HLS）预处理流水线，结合循环分块和数据流调度，驱动深度学习处理单元（Deep-Learning Processing Unit, DPU）进行推理。实验表明，在128×128输入下，INT8网络在×2倍率时达到96.37 FPS，功耗仅5.38 W，能量效率为1.17 Mpixel/J，LUT占用率为63.2%，时序闭合于275 MHz。与FP32模型相比，INT8量化在Set5、Set14、B100和Urban100基准上的PSNR损失分别为 dB、 dB、 dB和 dB，且81–90%的损失源于激活量化而非权重量化。在VisDrone2019无人机子集上，重建PSNR为 dB，SSIM为 。该工作证明了23层残差SR网络可在5.38 W功耗下部署于低成本仅整数边缘FPGA，为自主系统与机器人提供了可行的实时SR方案。论文发表在《Electronics》。
**关键技术方法**
（不超过250字）
1. **神经架构搜索（NAS）**：采用OFA方法在RCAN设计空间搜索紧凑残差网络，平衡模型容量与计算效率。
2. **量化感知训练（QAT）**：在训练过程中模拟INT8量化误差，微调权重与激活，减少量化后精度损失。
3. **硬件加速流水线**：基于HLS设计自定义预处理模块，实现循环分块（loop tiling）与数据流调度（data-flow scheduling），优化数据搬运与DPU利用率。
4. **逐指令消融实验**：通过单独移除每个优化策略，分析对资源使用（LUT、BRAM、DSP）和时序（275 MHz）的影响。
5. **测试集**：使用公开基准Set5、Set14、B100、Urban100以及VisDrone2019中抽取的无人机子集（作为目标域保留集）。
**研究结果**
（保留原文小标题，根据摘要推断，结果部分可拆分为以下方面）
- **性能评估**：在Kria KV260板上，INT8网络以128×128输入运行，×2倍率下测得96.37 FPS，功耗5.38 W，重建输出为6.32 Mpixel/s，能量效率1.17 Mpixel/J，LUT占用63.2%，时序闭合于275 MHz。通过逐指令消融实验，量化了循环分块、数据流调度等优化对资源与时序的贡献。
- **量化精度损失分析**：对比FP32模型，INT8量化在Set5、Set14、B100、Urban100上的PSNR损失分别为 dB、 dB、 dB、 dB。进一步分析表明，激活量化导致的损失占81–90%，远高于权重量化，揭示了激活值对低精度SR网络的敏感性。
- **目标域性能**：在VisDrone2019无人机子集上，网络重建的PSNR为 dB，SSIM为 ，验证了方法在真实无人机场景中的有效性。
**讨论与结论**
讨论部分（原文未提供，此处根据摘要总结）指出，该框架通过协同设计实现了低功耗、实时SR，适合部署于自主系统、机器人和空中监视平台。INT8量化损失主要由激活量化主导，提示未来可通过改进激活量化策略（如混合精度或更精细的截断）进一步缩小精度差距。此外，循环分块与数据流调度被证明是降低资源占用、维持时序闭合的关键。
**研究结论**（翻译原文最后一句）
这些结果表明，一个23层的残差超分辨率网络可以在5.38 W的功耗预算内部署在低成本、仅整数的边缘FPGA上，使得该方法适用于自主系统、机器人和空中监视。
