基于双流门控Mamba与层次化空间摘要的ISAR图像描述生成方法（ISAR-Mamba）

《Sensors》：ISAR-Mamba: A Dual-Stream Gated Mamba with Hierarchical Spatial Summaries for ISAR Image Captioning

　　

摘要专业翻译 逆合成孔径雷达（Inverse Synthetic Aperture Radar，ISAR）图像在空间态势感知中发挥着至关重要的作用，然而其解译工作长期局限于分类和分割等任务，缺乏生成细粒度自然语言描述的能力。为弥补这一不足，本文构建了ISARCap 1.0——首个专门面向ISAR图像描述任务的数据集，涵盖38类空间目标，包含102,965幅仿真图像和514,825个图像-文本对。在此基础上，本文提出ISAR-Mamba，一种用于ISAR图像描述的双流门控状态空间模型（State Space Model，SSM）。该模型引入了双流非对称编码器（Dual-Stream Asymmetric Encoder，DSAE），分别沿距离维和方位维执行互补的块划分与扫描操作，以适应ISAR图像在物理维度上的差异。同时，本文提出稀疏感知门控机制（Sparsity-Aware Gating Mechanism，SAGM），该机制利用散射能量先验与可学习评分模块协同抑制空块对状态更新的干扰。此外，本文还提出层次化空间摘要（Hierarchical Spatial Summarization，HSS）策略，从编码器的不同深度和不同空间区域提取结构化摘要标记，从而增强文本序列生成过程中的视觉信息感知能力。在ISARCap 1.0数据集上的实验结果表明，ISAR-Mamba在多项指标上优于现有图像描述方法，验证了所提方法的有效性以及该数据集的可用性。

论文解读文章

一、研究背景与问题

逆合成孔径雷达（Inverse Synthetic Aperture Radar，ISAR）作为一种主动成像系统，具备全天时、全天候的工作能力，是获取空间目标高分辨率图像的重要手段，已广泛应用于航天器在轨服务与国防安全等领域。然而，传统的ISAR图像解译主要集中于目标分类、识别和语义分割等任务。随着应用场景日益复杂，仅输出类别标签或分割掩膜已无法满足智能化信息获取的需求。一个重要的开放性问题是如何让计算机以类似人类专家的方式，用自然语言描述空间目标ISAR图像，包括目标类型、结构部件及其空间关系等语义信息。

图像描述（Image Captioning）作为连接计算机视觉与自然语言处理的跨模态任务，为ISAR图像的高层语义理解提供了新范式。然而，现有图像描述方法主要面向自然图像设计，直接迁移到ISAR图像面临诸多挑战。首先，ISAR图像本质上具有高度稀疏性，目标有效信息集中于少数强散射点，而绝大多数区域为低幅背景噪声或零像素值；若对所有图像区域赋予同等重要权重，大量冗余标记将进入序列传播，降低视觉编码质量。其次，ISAR图像的物理维度具有各向异性，距离维与方位维对应不同的分辨率、散射机制和目标表征方式，而现有多方向扫描策略未能针对这一物理特性进行差异化建模。

更为关键的是，ISAR领域至今缺乏公开可用的图像描述数据集。受限于成像数据的敏感性、专业解译知识的高门槛以及标注成本，具有自然语言标注的ISAR数据集长期处于空白状态，这也导致ISAR图像描述研究领域缺乏公开成果。

二、研究内容与结论

针对上述问题，研究人员构建了ISARCap 1.0——首个面向空间目标ISAR图像的自然语言描述数据集。该数据集包含38类空间目标的102,965幅图像和514,825个图像-文本对，每幅图像配有五条措辞各异的文本描述，覆盖目标类型、功能角色、运行轨道、主要部件及其空间关系等关键语义信息。数据集构建流程包括基于层次化模板的描述生成、提示词标准化和人工校验三个环节，确保了语义准确性、语言一致性和措辞多样性。

在此基础上，研究人员提出ISAR-Mamba——一种用于ISAR图像描述的双流门控状态空间模型。在ISARCap 1.0数据集上的实验结果表明，ISAR-Mamba在BLEU-1至BLEU-4、METEOR、ROUGE_L、CIDEr和S_m共八项指标上均取得最高值，综合指标S_m达到62.33%，比第二名HCNet高出0.28个百分点。其中CIDEr达到112.32%，比采用CLIP预训练模型的DPPF和CDRE分别高出4.16和10.83个百分点。在效率方面，ISAR-Mamba的计算量（FLOPs）仅为3.72 G，为所有对比方法中最低，比HCNet低约15.9倍。该研究验证了状态空间模型架构在ISAR图像描述任务中的可行性，为这一领域提供了一种高效的线性复杂度替代方案。

三、主要关键技术方法

研究人员主要采用了以下三项核心技术方法。第一，双流非对称编码器（Dual-Stream Asymmetric Encoder，DSAE）：距离流采用沿距离维大、方位维小的非对称块划分并沿距离方向扫描，以捕获目标宏观轮廓；方位流采用沿方位维大、距离维小的块划分并沿方位方向扫描，以感知散射细节。第二，稀疏感知门控机制（Sparsity-Aware Gating Mechanism，SAGM）：先从图像块中提取散射点能量作为物理先验，再结合可学习轻量评分模块联合生成重要性分数，通过可微门控操作调制SSM输入，动态抑制空块信息注入。第三，层次化空间摘要（Hierarchical Spatial Summarization，HSS）策略：在编码器不同深度和空间区域插入可学习摘要标记，通过双向状态聚合形成携带多尺度语义和空间偏置的视觉前缀。实验数据来源为ISARCap 1.0数据集，按8:2比例划分训练集和测试集。

四、研究结果

（一）对比实验。 研究人员将ISAR-Mamba与13种基于CNN-RNN框架、Transformer框架和Mamba框架的图像描述方法进行对比。结果显示ISAR-Mamba在全部八项指标上均取得最优值，BLEU-1至BLEU-4分别达到78.17%、64.66%、52.26%和41.79%，METEOR和ROUGE_L分别达到38.19%和57.02%。在CIDEr指标上，ISAR-Mamba的标准差仅为2.18%，低于HCNet、CSSA和DPPF，表明其在38类目标上具有较一致的性能分布。定性分析显示，ISAR-Mamba生成的描述在目标类型、部件构成和空间关系方面与真实标注一致，能准确描述太阳能帆板数量、主体朝向及帆板与主体的相对位置。

（二）效率对比。 研究人员从参数量、FLOPs和推理时间三个维度进行效率评估。ISAR-Mamba参数量为73.97 M，FLOPs为3.72 G（所有对比方法中最低），平均推理时间为9.36 ms。ISAR-Mamba以最低计算复杂度取得最高描述精度，展示了良好的精度-效率平衡。

（三）消融实验。 研究人员对DSAE、SAGM和HSS三个模块分别进行消融验证。基线模型S_m为54.30%；单独引入DSAE提升至57.18%，单独引入SAGM提升至57.26%，单独引入HSS提升至56.35%。两两组合中，“DSAE+SAGM”达到60.20%为最高。完整模型进一步达到62.33%，表明三个模块具有正向互补关系。可视化分析显示，SAGM的门控分数高度集中于目标强散射区域，HSS的摘要标记能有效聚合所属空间区域的局部视觉信息，DSAE的双流特征随网络加深逐步从局部细节收敛至目标中心结构。

（四）进一步分析。 研究人员利用生成的描述文本开展基于描述的目标类别提取和太阳能帆板计数两项下游任务探索，从不同粒度评估ISARCap 1.0数据集标注信息向其他视觉理解场景迁移的有效性。

五、讨论与结论

研究人员通过消融实验发现，SAGM作为单一模块带来的性能增益最高，DSAE次之，HSS的独立增益相对较低，这归因于HSS的摘要标记质量高度依赖编码器输出特征质量。值得注意的是，“SAGM+HSS”组合在参数量仅52.47 M、FLOPs仅1.86 G的条件下即可捕获大部分性能增益，表明DSAE的价值更多体现在与其他模块协同工作时——它为SAGM和HSS提供更高质量的双维度视觉基础，间接放大后两者的效果。在推理时间方面，ISAR-Mamba高于部分对比方法，这是双流非对称架构和层次化视觉前缀引入的必要开销，源于大量序列级核调用和同步开销。

研究结论表明，ISARCap 1.0作为首个ISAR图像描述数据集，其构建流程为后续相关研究提供了参考基准；ISAR-Mamba验证了状态空间模型架构在ISAR图像描述任务中的可行性，为这一领域提供了一种高效的线性复杂度替代方案。