基于类型化标签关系图与分数空间传播的遥感图像广义多标签零样本分类

《International Journal of Applied Earth Observation and Geoinformation》：Score-space knowledge graph propagation for generalized multi-label zero-shot classification of remote sensing images

　　

Score-TEGAR通过类型化标签关系图对冻结分数进行细化，用于遥感图像多标签零样本分类。已见标签统计与文本亲和度构成连接未见标签的类型化图。门控与不确定性缩放整合支持性和抑制性分数更新。匹配容量控制支持类型化标签关系的贡献。Score-TEGAR在三个数据集上的平均排序平衡指标上优于13种测试配置。

研究背景与问题：高分辨率遥感图像覆盖范围广，同一场景常含机场、跑道、飞机、道路、建筑等多个语义实体，标签间共现、排斥和层级关系相对稳定，可为局部视觉线索不足时提供证据。传统遥感多标签分类通常假设封闭标签集，测试类别均在训练中出现；但地表目标随区域、任务和部署期变化，穷尽标注成本高。广义多标签零样本学习（GMLZSL，训练仅监督已见标签而测试需同时预测已见与未见标签）需在识别未见标签的同时建模标签依赖。视觉语言模型（VLM，学习共享图像-文本嵌入空间的模型）提供可迁移语义先验，但标准零样本匹配独立处理标签，忽略共现、排斥和层级；用已见标签监督适配嵌入空间还可能影响未见标签对齐。因此，研究人员在图像-文本匹配后保留预训练空间并建模标签结构，提出Score-TEGAR，以类型化标签关系图在分数空间细化冻结VLM分数，贡献包括类型化标签关系图、分数空间残差修正框架，以及类型化边图注意力细化器（TEGAR，Typed-Edge Graph Attention Refiner）。

研究人员开展的研究及意义：在MLRSNet、BigEarthNet和China-MAS-50k（简写China-MAS）上构建GMLZSL任务，训练监督仅限已见标签，比较13种配置并进行参数匹配控制、关系子集、排除符号、敏感性和标签级分析。结论是Score-TEGAR在三个数据集平均mAP_HM（平均精度均值调和平均，平衡已见与未见mAP）上领先，参数匹配控制支持关系特定图结构贡献；但增益依赖指标和标签，部分基线全标签macro-F1更高，部分未见标签细化后AP下降。意义在于将冻结图文匹配与任务特定标签上下文结合，为标签监督不完整条件下的结构化分数修正提供可复用设计。

关键技术方法（不超过250字）：采用RS5M预训练GeoRSCLIP ViT-B/32冻结编码器和224×224输入；每个标签用六个固定提示文本锚点归一化均值表示，冻结图像-标签分数为图像特征与文本锚点内积，并以分数相关不确定性编码节点。类型化图仅用各划分已见标签训练标注：共现边要求点互信息（PMI，衡量标签共现依赖的统计量）>2.5且联合计数>50；排除边要求两标签计数>100且联合计数为零或PMI0.8、P(child|parent)<0.3且无共现边；语义亲和边用冻结文本锚点余弦相似度取Top-3已见邻居，连接未见节点。TEGAR两层，含关系特定注意力与变换、图像条件门控、非正排除残差、不确定性缩放，并以非对称损失（ASL，缓解正负样本不平衡的分类损失）训练。样本队列来源为MLRSNet、BigEarthNet、China-MAS-50k。

研究结果：
4.3.1 MLRSNet比较：通过13种配置比较，Score-TEGAR取得最高平均mAP_HM 0.614，高于CLIP-ZS 0.123、CLIP-Adapter 0.049；已见和未见mAP分别为0.687和0.557，均高于CLIP-ZS；全标签macro-F1 0.570和未见macro recall 0.605最高。DualCoOp已见mAP更高（0.703）但未见mAP较低（0.458）。线性探针已见mAP 0.604而未见mAP仅0.100，说明直接拟合已见标签的迁移困难。案例显示分数细化可补全场景描述并去除部分假阳性，但相关交通标签仍可混淆。
4.3.2 跨数据集评估：通过分别训练模型和数据集特定图，Score-TEGAR在BigEarthNet和China-MAS平均mAP_HM最高，分别为0.439和0.476；BigEarthNet高于CLIP-ZS 0.138、CLIP-Adapter 0.036；China-MAS高于DualCoOp 0.456和Score-Graph-PM 0.453。阈值评估中未见macro recall最高（0.721和0.772），但全标签macro-F1在BigEarthNet为0.402，低于DualCoOp 0.436；在China-MAS为0.409，低于Score-Graph-PM 0.415。结论是较强未见标签检索和排序平衡不总带来最佳聚合二值决策，排序分数与验证选择阈值角色不同。
4.4.1 分数细化与图结构贡献：通过结构消融，残差单独mAP_HM为0.491，同质图传播为0.563，参数匹配同质图为0.571，Score-TEGAR为0.614；在BigEarthNet和China-MAS，Score-TEGAR分别高于Score-Graph 0.047和0.029，高于参数匹配Score-Graph-PM 0.051和0.023。BigEarthNet无经验层级边仍获益，说明其余关系通道也携带结构。结论是保留关系特定邻域和层级方向有益。
4.4.2 关系特定与排除符号控制：通过每划分一次初始化的配对控制，完整类型化模型高于参数匹配同质图0.0586平均mAP_HM，五个划分均为正；保留语义亲和时，移除排除降低0.0473，移除层级降低0.0311，完整模型高于共现加语义亲和0.0301；负排除优于禁用0.0393、优于正号0.0495。结论是经验关系存在交互，排除和层级在完整关系语境中最有效，负关联标签宜作为负分数证据。
4.5 模型设置与未见标签数敏感性：通过改变传播深度、容量和门初始化，两层图最佳（0.618，对比一层0.569、三层0.588）；隐藏维度128最佳（对比64和256分别高0.063和0.027）；门初始化0.5与0.75相近（0.618与0.619），0.25降至0.591。5、10、15个未见标签下Score-TEGAR均高于CLIP-ZS，分别高0.130、0.107、0.127，未见mAP在各数量均改善。结论是中间容量和两层传播较合适，增益在未见标签数变化下保持。
5.3.1 门控与场景关联：通过16,397张MLRSNet测试图像、五标签划分和三初始化平均末层门控，四类门控与场景类别互信息为0.596—0.729 nats，排除最强（0.729），语义亲和0.692。十类中九类排除平均门最大；Intersection语义亲和门最大（0.566）且关系间范围最宽（0.143）。结论是门控呈场景依赖路由，但门幅值只表征路由偏好，预测效应还取决于被加权消息的符号与内容。
5.3.2 失败分析与关系边界：通过75个划分—未见标签对分析负迁移，相对CLIP-ZS平均未见AP提高0.0615，但24/75（32.0%）下降；相对更强Score-Graph-PM平均提高0.0361，29/75（38.7%）下降。篮球场在MLRSNet Split 3相对CLIP-ZS的AP从0.810降至0.131，其文本邻居为tennis court、parking lot、swimming pool。结论是聚合增益与标签特异损失并存，语义邻域可靠性是潜在负迁移来源；未见节点无经验排除或层级边，关系可靠性检查应聚焦语义亲和邻域。

讨论总结：5.1机制上，冻结图文匹配与学习标签上下文互补；分数空间修正改善三数据集平均已见—未见排序平衡，但排序与二值决策增益可不同；保留预训练匹配函数是在不完整标签监督下加入结构化上下文的有用起点；参数匹配控制支持关系特定邻域和层级方向，关系子集结果显示经验关系交互，排除符号控制支持将负关联标签作为负分数证据，语义亲和为未见标签提供独立上下文转移路径，其可靠性取决于文本相似度是否匹配有用场景关系。5.2泛化与可扩展性上，方法适应18—58个标签及不同经验图密度，关系统计需按任务已见标签重建；跨区域或跨传感器直接迁移是需兼容图像特征、标签含义和关系统计的独立扩展，源到目标评估应固定源域并报告目标域阈值或图重校准；扩展到多光谱、雷达、高光谱或时序编码器需兼容图像-文本特征，更大词表需稀疏图存储、边剪枝和邻域采样。5.3可解释性与失败分析表明门控具场景关联，但语义邻域不匹配可致负迁移。

研究结论部分翻译：Score-TEGAR将冻结图像-文本匹配与类型化知识图谱分数细化相结合，以改进广义多标签识别。它在三个数据集的13种配置中取得最高平均mAP_HM，参数匹配控制支持关系特定图结构的贡献。增益取决于指标和标签：一些基线具有更高的全标签macro-F1，且部分未见标签在细化后AP下降。提高语义邻域可靠性并测试直接域迁移为扩展该方法提供了重点后续方向。