《Sensors》：HRL-Det: Hierarchical Reinforcement Learning for Sequential Object Detection in Aerial Imagery
编辑推荐：
无人机（Unmanned Aerial Vehicle, UAV）影像中的目标检测面临严重的尺度变异、密集目标堆积以及传统检测器在处理高分辨率帧时穷尽式评估所带来的高昂计算成本等问题。基于强化学习（Reinforcement Learning, RL）的序列检
无人机（Unmanned Aerial Vehicle, UAV）影像中的目标检测面临严重的尺度变异、密集目标堆积以及传统检测器在处理高分辨率帧时穷尽式评估所带来的高昂计算成本等问题。基于强化学习（Reinforcement Learning, RL）的序列检测器将定位过程构建为主动搜索过程，为此提供了一种有前景的替代方案，然而现有方法受限于离散时间状态转移、稀疏奖励信号以及过早的策略坍塌。该研究提出HRL-Det，一种通过两项紧密耦合的创新来解决上述挑战的分层强化学习框架。第一，神经常微分方程（Neural Ordinary Differential Equation, Neural ODE）驱动的连续时间贝尔曼状态演化（Continuous-Time Bellman State Evolution）模块将智能体的状态动力学建模为由哈密顿-雅可比-贝尔曼（Hamilton–Jacobi–Bellman, HJB）方程控制的随机微分方程，通过记忆高效的基于伴随的反向传播实现细粒度的时间推理。第二，李雅普诺夫引导的熵正则化奖励塑形（Lyapunov-Guided Entropy-Regularized Reward Shaping）机制基于李雅普诺夫稳定性分析构建促进收敛的密集奖励，同时通过最大熵优化维持探索多样性。在VisDrone2019、DroneVehicle和MS COCO 2017上的大量实验表明，HRL-Det分别取得了0.412、0.812和0.735的mAP@0.5，优于现有基于RL的检测器，并在相同COCO度量下与代表性非RL检测器达到具有竞争力的精度，同时仅需17.3 M参数和平均每目标6.3次搜索步数。
该论文针对无人机（UAV）航空影像中的目标检测问题展开研究。无人机影像目标检测是计算机视觉中的一项基础且具有挑战性的任务，已广泛应用于智能交通监控、应急救援、电力线路巡检和铁路基础设施监测等实际场景。由于无人机飞行高度较高且地面环境复杂，提升检测精度与运行效率仍是重要的研究课题。现有深度学习方法虽取得显著进展，但在UAV场景下仍面临严峻限制：传统方法依赖密集预测或穷尽式窗口滑动，在资源受限的边缘设备上处理高分辨率航空图像时计算成本高昂；且静态架构在检测复杂背景中的微小目标时常出现"性能悬崖"，导致高误检率并在无关背景区域浪费大量资源。
为克服密集预测的低效性，基于强化学习的序列检测方法应运而生，将定位构建为序列决策过程，模拟人类视觉"扫视"机制，通过全局到局部的搜索仅关注感兴趣区域，从而在大规模航空影像中提供低计算量的自主目标搜索替代方案。然而，现有RL检测方法仍存在若干关键瓶颈：复杂环境下的特征表征不足导致极小目标感知困难；传统深度Q网络（Deep Q-Network, DQN）智能体存在学习不稳定性和动作值高估问题；固定奖励函数无法适应搜索过程的动态变化；离散动作空间限制了最终定位精度。这些因素制约了RL检测器在高精度UAV任务中的实际应用。
针对上述问题，该研究提出名为HRL-Det的分层强化学习目标检测框架。研究首先设计了轻量级特征提取模块，通过融合多尺度空间信息获得紧凑而具判别性的状态表征；随后引入混合强化学习策略以提升动作评估稳定性并缓解策略训练中的Q值高估；进而开发自适应奖励函数动态引导智能体实现精准目标对齐；最后融入边界框精修模块以克服离散动作的量化误差，实现连续空间中的高精度定位。
该研究的核心贡献可概括为：提出HRL-Det框架，减少高分辨率UAV影像中的冗余密集图像评估；设计神经ODE驱动的连续时间贝尔曼状态演化模块，将智能体的内部状态动力学建模为由神经随机微分方程控制的连续时间随机过程，演化后的状态表征供标准对决双DQN进行离散动作选择，从而提升搜索策略的时间分辨率并增强对视觉模糊的鲁棒性；引入李雅普诺夫引导的熵正则化奖励塑形机制，基于李雅普诺夫稳定性分析提供促进收敛的密集奖励信号并融合最大熵策略优化，有效解决奖励稀疏和过早策略坍塌问题，促进稳定且加速的训练收敛；在VisDrone2019、DroneVehicle和MS COCO 2017数据集上的大量实验表明，HRL-Det在检测精度和推理效率方面均优于现有RL检测器。
研究采用的关键技术方法主要包括：神经ODE驱动的连续时间贝尔曼状态演化技术，利用Dormand-Prince RK45求解器进行数值积分，并采用基于伴随的反向传播实现记忆高效训练；李雅普诺夫引导的熵正则化奖励塑形技术，结合基于势的奖励塑形与最大熵强化学习框架；对决双DQN（Dueling Double DQN）结构用于离散动作选择；以及分阶段动作掩蔽与优先级经验回放机制。实验样本队列来源于三个公开基准数据集：VisDrone2019（含6,471张训练图像、548张验证图像和1,610张测试图像）、DroneVehicle（17,990对RGB-红外配对图像帧，研究采用标准单模态RGB评估协议）以及MS COCO 2017（118,287张训练图像和5,000张验证图像）。
研究结果部分按照论文结构展开如下：
定量对比实验。与RL检测器对比方面（表1），HRL-Det在VisDrone2019、DroneVehicle和MS COCO上分别取得0.412、0.812和0.735的mAP@0.5，较此前最优的LHAR-RLD分别提升3.8、5.2和3.6个百分点，且平均搜索长度最低（6.3步/目标）。与非RL检测器对比方面（表2），HRL-Det在标准COCO度量下与代表性密集检测器达到具有竞争力的精度。需要特别说明的是，RL序列检测器与传统密集预测检测器在推理范式上存在根本差异：非RL方法以单前向传播处理整幅图像并同时输出所有检测结果，而HRL-Det逐目标进行序列搜索，因此表格中的mAP对比反映的是共享度量下的检测精度而非操作等价性。
消融实验（表3）。在VisDrone2019验证集上的消融研究表明：完整模型达到0.412的mAP@0.5和0.251的mAP@0.5:0.95。去除神经ODE驱动的贝尔曼状态演化模块后，性能分别降至0.364和0.219，绝对降幅达4.8和3.2个百分点；将李雅普诺夫引导的密集奖励替换为稀疏终端奖励后，性能降至0.381和0.227；禁用耦合的熵正则化分阶段动作掩蔽设计后，性能降至0.390和0.235。
训练收敛评估（图4）。DQN训练损失在初始探索阶段快速下降，随后进入稳定收敛状态；各数据集上的回合奖励曲线呈现稳健的单调递增趋势，证实了所设计奖励塑形机制能有效鼓励智能体最大化与真值目标的交并比（Intersection over Union, IoU）。
分层搜索过程与空间注意可视化（图5、图6）。图5展示了智能体在随机评估样本上的多步动作序列，智能体通过主动选择空间平移和缩放操作逐步提升IoU分数直至触发终止动作。图6左侧展示了初始搜索框如何从四周逐步收缩至目标区域，右侧的空间注意热图显示聚合的局部能量与真值目标边界高度对应，表明智能体能够抑制背景干扰并持续聚焦于语义相关的目标区域。
定位精度定性分析（图7至图10）。图7的IoU分布统计表明大多数预测框超过成功阈值（IoU ≥ 0.5）。图8至图10分别展示了VisDrone2019、DroneVehicle和MS COCO上的成功案例与失败案例：成功案例显示预测框对小型或部分遮挡目标实现紧密匹配；失败案例主要源于严重遮挡、截断或模糊目标边界，特别是在多个目标显著重叠的密集簇中，空间奖励信号受到干扰导致智能体过早提交次优中间边界框。
讨论部分，研究人员从效率与精度权衡、评估协议考量、神经ODE状态演化、李雅普诺夫稳定性与奖励塑形、失败案例分析以及泛化能力等角度进行了深入分析。HRL-Det以17.3 M的参数规模实现了较所有竞争架构更优的效率，这得益于神经ODE状态编码器的共享特征提取器和李雅普诺夫引导的策略驱动早期停止机制。神经ODE驱动的贝尔曼状态演化是架构中最具影响力的单一组件，连续时间形式化使智能体能够以比离散步长替代方案更细的粒度捕获搜索轨迹中的时间依赖性。李雅普诺夫引导的熵正则化奖励塑形解决了RL检测中奖励稀疏的根本挑战，耦合的熵正则化分阶段动作掩蔽模块有助于防止策略坍塌。未来研究方向包括：通过多智能体强化学习扩展至类别无关的多目标序列检测；利用基于模型的强化学习与世界模型进一步提升样本效率；以及研究神经ODE蒸馏的高效设备端部署策略以支持嵌入式UAV平台上的实时推理。
研究结论部分翻译如下：该研究提出了HRL-Det，一种面向航空影像序列目标检测的分层强化学习框架。通过将检测问题构建为受哈密顿-雅可比-贝尔曼方程启发的连续时间状态演化所增强的离散时间马尔可夫决策过程，该方法训练具有神经ODE驱动状态编码的对决双DQN以迭代精化空间边界框假设。两项核心强化学习创新支撑该框架：（1）神经ODE驱动的连续时间贝尔曼状态演化，将智能体的内部隐状态动力学建模为随机微分方程，并使用HJB残差作为辅助训练损失，通过伴随方法生成用于离散动作选择的增强状态表征；（2）李雅普诺夫引导的熵正则化奖励塑形，基于李雅普诺夫稳定性分析构建促进收敛的密集奖励信号，同时通过具有KL约束更新的最大熵优化防止策略坍塌。如第3.4节所述，连续时间理论框架为具有离散动作和标准回放缓冲训练的实用DQN智能体提供了设计依据。在VisDrone2019、DroneVehicle和MS COCO 2017三个基准上的大量实验表明，HRL-Det与常规单阶段、双阶段和基于Transformer的检测器相比达到了具有竞争力或更优的mAP，并在相同评估协议下始终优于现有RL检测方法，同时所需模型参数（17.3 M）少于大多数密集基线。与非RL检测器的对比反映的是标准COCO度量下的精度而非直接操作等价性，因为两种推理范式存在根本差异。消融研究进一步验证了每个强化学习组件的贡献。搜索轨迹和注意热图的定性分析为学习到的熵正则化策略将空间注意集中于语义相关区域提供了可解释的证据。未来研究方向包括：（1）通过多智能体强化学习公式将框架扩展至类别无关的多目标序列检测；（2）利用基于模型的强化学习与世界模型进一步提升样本效率；（3）研究神经ODE蒸馏的高效设备端部署策略以支持嵌入式UAV平台上的实时推理。
