弹性深度神经网络用于遥感图像检索中的自适应特征提取

《IEEE Transactions on Aerospace and Electronic Systems》：Elastic Deep Neural Network for Adaptive Feature Extraction in Remote Sensing Image Retrieval

　　

遥感图像存档的大规模快速增长提高了对准确且高效的内容基图像检索（Content-Based Image Retrieval, CBIR）系统的需求。现有的深度学习方法通常采用固定的特征提取架构，可能无法有效捕获航空场景的多样视觉特征。为解决这一局限，本文提出了一种弹性深度神经网络（Elastic Deep Neural Network, EDNN），用于卫星图像检索中的自适应特征提取。该网络动态调整节点激活、连接缩放、网络宽度和网络深度，以生成具有判别性的特征表示，同时保持计算效率。所提出的框架在公开可用的航空图像数据集（Aerial Image Dataset, AID）上使用广泛采用的检索指标进行了验证。其F1分数达到97.3%，召回率（Recall）为97.5%，平均归一化修正检索排名（Average Normalized Modified Retrieval Rank, ANMRR）为0.052，平均精度均值（mean Average Precision, mAP）为97.0%，精度（Precision）为97.2%，同时仅使用324万可训练参数，且每幅图像的平均检索时间为18 ms。实验结果表明，所提出的EDNN能够实现准确且计算高效的遥感图像检索，展示了其在大规模地球观测档案库中的应用潜力。

# 弹性深度神经网络驱动的遥感图像自适应特征提取研究解读

## 一、研究背景与问题

遥感影像作为地球观测的重要数据来源，在灾害评估、城市规划、土地利用与覆盖制图、环境监测、精准农业和气候研究等领域发挥着不可替代的作用。随着遥感技术的持续进步，航空与卫星图像存档的规模呈现前所未有的增长，这对图像组织、索引和检索技术提出了更高要求。内容基图像检索（Content-Based Image Retrieval, CBIR）通过比较图像视觉特征而非依赖人工文本标注来实现遥感图像的检索，能够有效支撑大规模地理空间图像集合的组织、索引和检索。近年来，深度学习（Deep Learning, DL）、机器学习（Machine Learning, ML）和人工智能（Artificial Intelligence, AI）的发展深刻改变了遥感图像视觉信息提取的方式，基于学习的模型能够自动从大规模图像集合中导出具有代表性和判别性的特征，提升了检索性能和可扩展性。

然而，现有深度学习方法普遍采用固定的特征提取架构，即无论输入图像内容如何，网络结构保持不变。这种静态架构难以适应航空场景中高度多样的视觉特征，例如不同地理区域、季节、光照条件和传感器类型造成的类间相似性与类内差异性。尽管已有研究探索了自适应特征提取技术，但这些方法通常仅调整学习到的特征而不改变网络架构，尚未有工作将节点激活、连接加权、宽度自适应和深度自适应联合用于航空图像检索。为此，研究人员提出了一种弹性深度神经网络（Elastic Deep Neural Network, EDNN），它通过一个弹性控制器（Elastic Controller）根据输入图像属性动态调整网络的计算结构，从而生成更具判别性的特征表示，同时保持计算效率。

## 二、研究内容与主要结论

研究人员开发了EDNN模型，并在公开可用的航空图像数据集（Aerial Image Dataset, AID）上进行了系统评估。AID数据集包含30个航空场景类别，每个类别约200至400幅RGB图像，图像尺寸为600×600像素，具有较高的类间相似性和类内变异性。实验采用固定的类别划分，70%用于训练，10%用于验证，20%用于测试。检索评估时，将测试集进一步划分为查询子集（20%）和图库子集（80%），并排除查询图像本身。研究采用余弦相似度进行排名，以Precision、Recall、F1-score、平均精度均值（mean Average Precision, mAP）和平均归一化修正检索排名（Average Normalized Modified Retrieval Rank, ANMRR）作为评估指标。

实验结果表明，EDNN在AID数据集上取得了97.2%的Precision、97.5%的Recall、97.3%的F1-score、97.0%的mAP以及0.052的ANMRR，显著优于对比方法。同时，EDNN仅使用324万可训练参数，平均检索时间为每幅图像18 ms，比对比方法的20至35 ms更短。消融研究证实，节点激活、连接缩放、宽度自适应和深度自适应四种弹性机制均对最终性能有贡献：从固定基线的mAP 92.8%逐步提升至97.0%，检索时间从22.4 ms降至18.0 ms。定性实验和鲁棒性分析表明，EDNN在场景变化、图像失真、不同遥感模态以及真实卫星影像条件下均能保持有效的检索性能。该研究的意义在于首次将节点激活、连接缩放、网络宽度和网络深度四种自适应机制联合用于遥感图像检索，实现了特征表示与计算架构的联合输入自适应，为大尺度地球观测档案库的高效检索提供了新方案。

## 三、关键技术方法

研究采用的主要技术方法包括：（1）弹性控制器（Elastic Controller），通过一个轻量级两层多层感知机（Multilayer Perceptron, MLP）生成四种输入依赖的控制信号，分别用于节点激活（node activation）、连接缩放（connection scaling）、宽度调整（width adjustment）和深度调整（depth adjustment）；（2）动态网络架构，根据控制信号对隐藏层节点进行Top-K选择、对权重矩阵进行元素级缩放、对层宽和层深进行离散调整，推理时仅执行被选中的神经元和层；（3）训练优化，采用任务损失与弹性正则化项联合优化，使用Adam优化器，学习率为1×10^-4，训练100轮，批次大小为32；（4）图像预处理与特征聚合，将600×600像素图像缩放至256×256像素，分割为64×64像素、步长为32像素的重叠图像块，对训练块进行随机水平/垂直翻转和90°/180°/270°旋转增强，推理时每个块独立输入EDNN获得512维描述子，通过平均池化得到图像级描述子。数据集采用公开的AID基准数据集，固定划分为70%训练、10%验证、20%测试。

## 四、研究结果

### A. 定量结果

EDNN的训练过程表现出稳定的收敛特性，最终达到97.8%的训练准确率和97.2%的验证准确率，无明显过拟合迹象。在检索性能对比中，EDNN取得了最佳整体结果：Precision 97.2%、Recall 97.5%、F1-score 97.3%、mAP 97.0%、ANMRR 0.052，同时仅占用3.24M参数和6.87 GFLOPs，检索时间缩短至18 ms。累积消融实验表明，从固定基线到逐步启用四种弹性机制，mAP从92.8%提升至97.0%，检索时间从22.4 ms下降至18.0 ms，证实每种机制均产生正向收益。

### B. 计算效率与控制器行为

计算对比显示，EDNN的平均推理时间从固定基线的22.4 ms降至18.0 ms，降幅19.6%，吞吐量从44.6图像/秒提升至55.6图像/秒。固定基线每幅图像执行4层共2048个隐藏神经元，而EDNN平均仅执行3.4层共1760个活跃神经元，活跃FLOPs估计约为5.02 G。弹性控制器的统计数据显示，节点激活信号均值为0.72（范围0.31–0.97），连接缩放信号均值为0.69（范围0.26–0.96），宽度变化均值为+1.72（范围-2到4），深度变化均值为+0.58（范围-1到2）。这表明控制器并非始终缩减模型，而是根据输入动态增减计算容量。

### C. 鲁棒性分析

在多种遥感模态（多光谱、SAR及组合模态）下，EDNN均能保持较高的检索准确率。在添加高斯噪声、模糊和旋转失真后，检索准确率仅小幅下降，显示出对常见图像退化的鲁棒性。

### D. 定性结果

定性检索实验覆盖了AID基准查询、局部场景修改的查询、失真图像以及Google Earth Engine获取的Hyderabad地区Kokapet区域真实卫星影像。EDNN能够正确检索语义相似的图像，且对局部场景变化和图像扰动具有稳健性，并成功检索了未在查询阶段使用过的新增测试图像，表明其学习到了可迁移的特征表示。

### E. 失败案例分析

失败分析发现，EDNN的主要失效模式包括：不同场景类具有相似的空间结构、强烈的局部场景变化以及严重的图像退化。这些情况属于学习表示的固有局限而非控制器不稳定。

## 五、讨论与结论总结

讨论部分指出，EDNN通过输入依赖的节点激活、连接缩放、宽度和深度联合自适应，在AID基准上实现了mAP 97.0%和ANMRR 0.052的检索性能，每个弹性机制均对性能提升有贡献。计算效率方面，输入依赖执行将推理时间从22.4 ms降至18.0 ms，吞吐量从44.6提升至55.6图像/秒。鲁棒性实验证实EDNN在场景变化、图像失真和不同传感条件下均保持有效检索，但对视觉相似类别、严重失真和罕见场景的可靠性有所下降。研究的局限性包括：主要定量评估基于RGB AID基准，70%/10%/20%划分未能建立跨传感器、跨地理区域或跨采集条件的泛化；模态实验限于鲁棒性分析，尚缺乏统一的跨数据集检索评估；输入依赖控制器在显著不同的图像域上可能需要重新校准。未来工作将扩展到PatternNet、NWPU-RESISC45、BigEarthNet和多模态SAR-光学数据集，并研究域自适应跨传感器检索。

研究结论为：本文提出了一种弹性深度神经网络（EDNN），用于遥感图像检索中的自适应特征提取。与大多数使用静态网络进行特征提取的现有检索系统不同，EDNN根据输入图像属性实现了自适应的节点激活、连接缩放、宽度和深度调整。实验评估表明，所提框架取得了优越的检索性能：Precision为97.2%，Recall为97.5%，F1-score为97.3%，mAP为97.0%，ANMRR为0.052，同时仅需324万参数和每幅图像18 ms的平均检索时间。该框架适用于卫星图像档案管理、环境监测、土地利用与覆盖分析、灾害评估、城市规划、精准农业和地球观测系统等多种实际遥感应用。定性实验和鲁棒性评估表明，EDNN能够在场景变化和不同传感模态下有效检索语义相似的图像，适用于实际的大规模检索任务。未来工作将聚焦于将EDNN扩展到统一的多模态遥感图像检索，整合光学、SAR、高光谱和LiDAR影像于单一自适应学习框架，并研究自监督表示学习、基于transformer的自适应特征提取、轻量级边缘部署和大规模跨域检索，以进一步提升可扩展性、鲁棒性和实时检索性能。