《Drones》:A Parameter-Reconfigurable FPGA Acceleration Architecture with Unified Multi-Directional Convolution Mapping for UAV Ship Detection
编辑推荐:
受无人机海上监测中对低延迟、高能效和可重构计算需求的驱动,本文提出了一种参数可重构的FPGA加速架构,该架构为多方向卷积提供统一映射,并以轻量级MPR-ShipNet作为验证网络。通过方向选择与零掩蔽机制,该架构将水平1×3、垂直3×1及常规3×3卷积统一映射
受无人机海上监测中对低延迟、高能效和可重构计算需求的驱动,本文提出了一种参数可重构的FPGA加速架构,该架构为多方向卷积提供统一映射,并以轻量级MPR-ShipNet作为验证网络。通过方向选择与零掩蔽机制,该架构将水平1×3、垂直3×1及常规3×3卷积统一映射到共享的3×3处理单元(processing element, PE)阵列上。软件指令动态配置卷积、池化、激活、上采样和数据传输操作,从而无需为不同卷积算子构建专用硬件单元。该设计进一步集成了八通道INT8量化模块、多通道流水线及片上数据复用机制,共同减少了中间特征存储、片外存储器访问和数据传输开销。实验结果表明,MPR-ShipNet在SeaShips数据集上取得了93.7%的精确率、95.6%的召回率、94.5%的mAP@0.5和94.6%的F1分数。在噪声、光照变化、模糊和遮挡等干扰条件下,该模型仍保持稳健的检测性能。在运行于200 MHz的XC7Z100 FPGA上,所提出的加速器实现了166.35 GOPS的吞吐率、每帧74 ms的推理延迟和2.59 W的功耗,对应能效为64.23 GOPS/W。INT8部署模型实现了91.5%的mAP@0.5,与94.5%的FP32基线相比,绝对下降了3.0个百分点,相对下降约3.17%。上述结果验证了该方法在资源受限边缘平台上检测精度与部署效率之间的实用权衡。
# 参数可重构FPGA加速架构与MPR-ShipNet的硬件软件协同设计:面向无人机船舶检测的精度—效率平衡研究
## 一、研究背景与问题
随着光学成像技术的快速发展,无人机(unmanned aerial vehicle, UAV)影像的时间和空间分辨率大幅提升,图像数据量呈现指数级增长。然而,带宽约束在传输大规模数据时不可避免地引入可观的传输延迟,且大量数据可能缺乏有效信息,产生显著冗余。在渔业管理和军事安全等领域,利用光学影像对小型船舶进行连续、准确的监测具有重要应用价值,但图像分辨率的限制使得对小型渔船和货船的准确快速检测成为一项极具挑战性的任务。
传统船舶检测方法通常依赖手工设计的特征提取器,如边缘检测、形状分析和纹理分析。这些方法需要针对每种应用场景手动指定阈值、滤波尺度和候选区域选择规则,其性能严重依赖先验知识,对复杂背景和噪声的鲁棒性普遍不足。在海洋环境中,光照变化、海面反射、波浪纹理、雾霾、云层遮挡以及海岸线和港口设施等因素可能产生类似于船舶轮廓或纹理的干扰模式,降低目标—背景对比度,同时增加漏检和误检。这一问题在无人机海上巡检中尤为突出:飞行高度、视角和平台姿态持续变化,无人机振动、快速运动和图像传输压缩可能引入模糊和细节丢失,使得同一船舶在不同观测中呈现显著的尺度、方向和图像质量差异。远距离小型船舶往往仅占据极少像素,其微弱的边缘和纹理线索容易被波浪和镜面反射遮蔽。此外,传统方法通常需要对高分辨率图像执行多个处理阶段,包括增强、去噪、分块、候选区域生成和后处理,进一步增加了计算复杂度。
近年来,深度卷积神经网络在自然场景目标检测领域取得了显著进展。与依赖手工特征的传统方法相比,深度学习方法能够端到端地学习层次化特征表示,从低层纹理和边缘线索到高层语义信息,因此在复杂背景、尺度变化和目标遮挡等场景中表现出更强的适应性。当前目标检测算法通常分为两阶段检测器和单阶段检测器。以区域卷积神经网络(region-based convolutional neural network, R-CNN)家族为代表的两阶段检测器通常先生成可能包含目标的候选区域,再利用检测头执行分类、边界框回归和预测框细化。这类方法在密集目标和复杂背景场景中往往能达到较高的检测精度,但候选区域生成和区域级处理引入了可观的计算成本、内存访问开销和推理延迟,难以满足无人机船舶监视的实时性要求。以YOLO和SSD为代表的单阶段检测器将目标定位和类别预测集成在单一网络中,直接在多尺度特征图上产生密集预测,避免了候选区域生成和冗余特征计算,具有架构更简单、推理更快和更适合边缘部署等优点。尽管早期单阶段检测器在小目标和复杂背景场景中的精度普遍低于两阶段方法,但多尺度特征融合、注意力机制和轻量级网络设计的进展已显著缩小了这一差距。
虽然基于CNN的船舶检测方法在公开遥感数据集上取得了良好性能,但其在无人机海上监测中的部署仍面临诸多挑战。远处船舶仅占据少量像素,易受波浪、太阳眩光、海岸设施、遮挡和背景杂波影响,小目标特别容易受到特征丢失和背景干扰。与此同时,CNN推理需要大量的卷积运算、特征图缓冲和内存访问,在无人机平台的载荷、功耗、散热和续航约束下难以满足。传统无人机海上监视系统通常将原始图像或视频传输至地面站处理,但有限通信带宽和链路稳定性会增加传输开销和响应延迟。将检测网络部署在边缘端可以减少不必要的数据传输,但多尺度特征融合和复杂检测头持续带来可观的计算和内存需求。
通用CPU和GPU支持灵活的CNN部署,但CPU可能无法满足实时推理需求,GPU通常需要更高的功耗和更严格的热管理。专用加速器主要包括ASIC和FPGA。ASIC虽然能提供高计算效率,但其开发周期长、设计成本高、流片后灵活性有限,限制了对不断演进的网络架构的适应性。FPGA提供可配置逻辑、并行计算和片上存储器,更适合资源受限的边缘部署。然而,现有FPGA实现通常针对固定网络结构或有限算子类型设计,基于加速器IP的方案在处理单元利用率、数据复用和对多尺度检测网络的适应性方面仍需改进。此外,以往研究通常将检测算法和硬件加速器分开优化。为弥补这一不足,本研究将MPR-ShipNet与参数可重构FPGA加速器进行协同设计,以平衡检测精度、模型复杂度、推理延迟、功耗和硬件资源利用率。
## 二、研究内容与核心结论
针对小尺度船舶目标、复杂海洋背景以及无人机边缘部署的资源约束问题,本研究通过硬件软件协同设计开发了一套船舶检测系统,将轻量级MPR-ShipNet与参数可重构FPGA加速器集成。MPR-ShipNet(Multi-Receptive-Field and Progressive-Context Reparameterized Ship Network)以四阶段ResBlock骨干网络为编码器,引入了多感受野细粒度增强模块(multi-receptive-field fine-grained enhancement module, MRFEM)和渐进式多尺度上下文聚合模块(progressive multiscale context aggregation module, PMCAM)。MRFEM通过并行多尺度和方向感知分支增强小型船舶的边缘、纹理和细长结构特征,PMCAM通过跳跃连接集成浅层定位线索与深层语义信息,抑制复杂海洋背景干扰。解码器采用RepVGG模块逐步恢复特征图分辨率,其多分支训练结构可在推理阶段融合为等效单分支卷积,降低片上资源消耗和控制复杂度。网络通道宽度和特征图传输方案根据处理单元并行度和片上存储器约束设计,INT8量化减少了内存访问和数据传输开销。多个输出分支仅在训练期间提供辅助监督,部署时予以移除,从而联合优化检测精度、硬件资源利用率和实时性能。
在硬件层面,研究设计了一种指令驱动的参数可重构FPGA数据流架构,将卷积、池化、激活、零填充和数据传输抽象为可配置算子,可根据层级别需求动态重构。该架构通过方向选择和零掩蔽机制,将水平1×3、垂直3×1和常规3×3卷积统一映射到共享的3×3处理单元阵列上,避免了为不同卷积算子构建专用硬件单元。设计进一步集成了八通道INT8量化模块、多通道流水线和片上数据复用机制,共同减少中间特征存储、片外存储器访问和数据传输开销。整体系统在Xilinx XC7Z100 FPGA上实现,处理系统(processing system, PS)中包含两个1.06 GHz ARM Cortex-A9处理器,通过AXI4-Lite和AXI4-Stream总线与可编程逻辑(programmable logic, PL)通信,直接内存访问(direct memory access, DMA)管理片上与片外存储器的数据交换。
实验结果表明,MPR-ShipNet在SeaShips数据集上取得了93.7%的精确率、95.6%的召回率、94.5%的mAP@0.5和94.6%的F1分数。消融实验显示,与基线模型相比,引入MRFEM和PMCAM分别带来1.6和2.2个百分点的mAP@0.5提升,两者联合引入时提升达4.3个百分点。在SeaDronesSee跨数据集评估中,模型实现了87.5%的精确率、86.2%的召回率、86.4%的mAP@0.5和86.8%的F1分数,展示了从岸基监视图像向无人机海上图像迁移的良好泛化能力。在XC7Z100 FPGA上,加速器在200 MHz下实现了127.45 GOPS的吞吐率、每帧74 ms的推理延迟和2.59 W的功耗。INT8量化模型在SeaShips上实现91.5%的mAP@0.5,与FP32基线相比绝对下降3.0个百分点,相对下降约3.17%。上述结果验证了该设计在检测精度与部署效率之间的实用权衡,为资源受限的边缘平台提供了一种可行的船舶检测解决方案。
## 三、关键技术方法
研究人员主要采用了以下关键技术方法:(1)方向选择与零掩蔽统一映射机制,将水平1×3、垂直3×1和标准3×3卷积映射到共享的3×3处理单元阵列,通过模式配置寄存器选择卷积模式并注入零值;(2)可配置八通道INT8量化模块,将32位定点累加结果通过整数乘法、移位舍入、零点校正和饱和截断量化为8位整数;(3)分层数据复用机制,采用三行行缓冲器结构和多级加法树实现卷积窗口重组和局部累加;(4)比较器树最大池化单元,采用两级比较树结构减少组合逻辑深度;(5)可配置上采样单元,通过一对四并行数据复制实现空间维度扩展。实验使用SeaShips数据集(31,455幅图像,约40,077个标注船舶实例)进行训练、验证和测试,按8:1:1比例划分;跨数据集泛化评估使用SeaDronesSee数据集(5,630幅标注RGB图像),仅保留船舶目标并将六个船舶类别合并为统一类别,模型权重仅从SeaShips学习,无目标域训练或微调。FPGA部署平台为Xilinx XC7Z100-2FFG900开发板,包含两个1.06 GHz ARM Cortex-A9处理器和可编程逻辑。
## 四、研究结果
### 4.1 消融实验
为评估各模块的统计可靠性,每种配置使用不同随机种子独立训练五次,数据集划分、训练参数和评估协议保持不变。基线模型实现90.2±0.36%的mAP@0.5。引入MRFEM后mAP@0.5提升至91.8±0.51%,引入PMCAM后提升至92.4±0.30%,分别带来1.6和2.2个百分点的提升。两者联合引入时,MPR-ShipNet实现94.5±0.43%的mAP@0.5、93.7±0.32%的精确率、95.6±0.44%的召回率和94.6±0.38%的F1分数,与基线相比分别提升4.3、1.6、4.1和3.2个百分点。双尾Welch's t检验显示各模块引入带来的mAP@0.5提升均具有统计学显著性(p<0.001)。完整模型参数量从4.25 M增至5.04 M,但提供了最大且最稳定的性能提升。
特征响应热图可视化显示,基线模型的高响应区域较为分散并延伸至周围水面和背景。引入MRFEM后,激活响应更完整地覆盖船体、船首和船尾。引入PMCAM后,船舶区域的响应更加突出,周围水背景的激活降低。两者联合引入时,MPR-ShipNet在船舶区域产生最集中、连续和完整的高响应分布,同时保持非目标区域低响应。
### 4.2 检测性能对比评估
在SeaShips数据集上与FFCA-YOLO、YOLO-World、ORFENet、YOLOoW、RT-DETR和DAB-DETR六种方法的对比中,MPR-ShipNet实现93.7%的精确率、95.6%的召回率、94.5%的mAP@0.5和94.6%的F1分数。与各指标次优结果相比,分别提升1.2、3.5、1.9和2.9个百分点。相对于基于Transformer的检测器,MPR-ShipNet的mAP@0.5比RT-DETR和DAB-DETR分别高3.3和5.9个百分点,F1分数分别高4.0和6.8个百分点。MPR-ShipNet仅含5.04 M参数,比参数量最少的对比方法YOLOoW减少57.3%;计算成本仅12.31 GFLOPs,比YOLOoW低54.4%,显著低于所有对比方法。定性检测结果表明,MPR-ShipNet对于大型船舶和远处小目标均能维持稳定检测性能,在多目标、低对比度、小目标和部分遮挡场景中仍能有效识别多个船舶目标,而部分对比方法出现漏检、低置信度预测或边界框偏移。
### 4.3 图像失真敏感性分析
对MPR-ShipNet施加高斯噪声、椒盐噪声、伽马校正、亮度变化、高斯模糊和遮挡六种图像失真。在轻度扰动下,模型在所有情况下mAP@0.5保持92.0%以上,其中伽马校正值为0.8时取得93.6%的mAP@0.5。随着扰动强度增大,模型性能下降但保持合理鲁棒性。在高斯噪声强度0.5、椒盐噪声概率0.2、强亮度增强和伽马校正值1.5条件下,mAP@0.5分别保持在85.5%、87.0%、88.0%和88.8%。严重模糊、大幅亮度降低和大面积遮挡影响更为显著:高斯模糊强度7、亮度降低系数0.4和遮挡比例50%时,mAP@0.5分别降至84.2%、85.2%和81.2%。遮挡造成的性能损失最大,表明关键结构和语义信息的移除会显著损害检测能力。该结果属于模型内敏感性分析,不确立相对于其他方法的鲁棒性优势。
### 4.4 跨数据集泛化评估
七个模型均在相同SeaShips训练集上训练,并在SeaDronesSee V2验证集(1,547幅图像)上评估,模型权重和推理设置仅由源域训练和验证数据确定。MPR-ShipNet实现87.5%的精确率、86.2%的召回率、86.4%的mAP@0.5、56.8%的mAP@0.5:0.95和86.8%的F1分数。RT-DETR在各指标上均取得次优结果。与RT-DETR相比,MPR-ShipNet在精确率、召回率、mAP@0.5、mAP@0.5:0.95和F1分数上分别提升3.4、3.7、4.1、7.6和3.5个百分点。定性比较显示,MPR-ShipNet在稀疏、密集和小目标场景中均能更完整、一致地检测船舶目标,部分对比方法在含多个小目标和复杂海面背景的场景中出现漏检、低置信度预测或不完整响应。
### 4.5 FPGA硬件加速性能评估
INT8量化MPR-ShipNet加速器部署在XC7Z100 FPGA上,200 MHz工作频率下实现127.45 GOPS的计算吞吐率、每帧74 ms的推理延迟和约13.5帧/秒的处理速率,功耗为2.59 W,能效为49.2 GOPS/W,DSP效率为0.414 GOPS/DSP,LUT效率为8.65×10?3 GOPS/LUT。跨平台对比中,CPU+GPU平台取得最短单幅推理时间(SeaShips 34 ms,SeaDronesSee V2 92 ms),但功耗174 W限制了功率受限场景的适用性。Raspberry Pi 4B+功耗3 W但需要233 ms和580 ms每幅图像。ZYNQ-7100 FPGA在SeaShips上每幅74 ms、SeaDronesSee V2上每幅185 ms,功耗2.59 W。与CPU和Raspberry Pi 4B+相比,FPGA在SeaShips上将单幅推理时间分别缩短22.1%和68.2%,在SeaDronesSee V2上分别缩短35.1%和68.1%。INT8模型在SeaShips上实现91.5%的mAP@0.5,与FP32的94.5%相比绝对下降3.0个百分点;在SeaDronesSee V2上实现83.6%,与FP32的86.4%相比绝对下降2.8个百分点。FPGA在测试条件下提供了检测精度、推理时间和报告功耗之间的实用平衡。
## 五、讨论与结论
讨论部分指出,MRFEM和PMCAM通过互补机制提升船舶检测性能。MRFEM侧重于增强小型船舶的边界、方向纹理和细长结构特征,PMCAM整合浅层定位信息和深层语义特征以抑制海面反射和波浪干扰。两者组合产生更显著的召回率提升,表明模型的主要优势在于减少小型和低对比度船舶的漏检。在硬件层面,将1×3、3×1和3×3卷积统一映射到共享PE阵列减少了重复计算单元并提高了架构可重构性。然而,非对称卷积期间的零掩蔽使部分乘法器暂时不活跃,INT8量化引入一定程度的精度损失。该设计因此代表了检测精度、资源利用率、推理延迟和功耗之间的平衡取舍。未来工作方向包括改进模型在严重遮挡、强模糊和低光条件下的稳定性,探索遮挡感知数据增强、跨连续UAV视频帧的时间特征融合以及可见光、红外或雷达信息的多模态融合。量化感知训练、混合精度计算和方向卷积的并行调度也被建议用于减少量化引起的精度损失并进一步提升PE阵列利用率。
本研究提出了MPR-ShipNet,一种基于网络硬件协同设计的轻量级船舶检测方法,以应对小目标尺度、显著方向变化、复杂海洋背景以及无人机平台有限的计算和能源资源。在网络层面,多感受野细粒度增强机制强化船舶边缘、纹理和细长结构特征,渐进式多尺度上下文聚合机制整合浅层定位线索与深层语义信息,改善了对小型、低对比度和背景杂波目标的识别能力。在硬件层面,参数可重构FPGA加速器将1×3、3×1和3×3卷积统一映射到共享的3×3处理单元阵列,结合多通道流水线、数据复用和INT8量化,减少了片上资源使用、内存访问开销和推理功耗。实验结果表明,当两个特征增强模块同时引入时,模型在SeaShips上实现94.5%的mAP@0.5、93.7%的精确率、95.6%的召回率和94.6%的F1分数,相较于基线分别提升4.3、1.6、4.1和3.2个百分点。在SeaDronesSee评估中,模型实现87.5%的精确率、86.2%的召回率、86.4%的mAP@0.5、56.8%的mAP@0.5:0.95和86.8%的F1分数,表明从岸基监视图像向无人机海上图像迁移时保持较好的船舶检测性能。鲁棒性实验表明模型在噪声、光照变化和轻度模糊下保持较高检测精度,但在严重遮挡、强模糊和显著亮度降低条件下性能明显下降。硬件部署结果显示,XC7Z100 FPGA加速器在200 MHz下提供127.45 GOPS吞吐率、每帧74 ms推理延迟和2.59 W功耗,对应能效49.2 GOPS/W。总体而言,MPR-ShipNet在检测精度、鲁棒性、计算复杂度和硬件部署效率之间实现了良好平衡,为无人机海上巡检、海面目标筛查和异常船舶警示提供了实用解决方案。