《Electronics》：HRFNet: Ground-Truth-Guided Kullback–Leibler Divergence Routing for Semantics-Aware Multi-Branch Segmentation of Urban Driving Scenes
编辑推荐：
多分支网络结合了归纳偏置互补的骨干网络，但其融合模块仅从特征统计设定分支权重，因而对像素所代表的语义信息视而不见。研究人员改为在标签空间监督融合：将真值标签转换为逐像素路由目标，并通过Kullback–Leibler（KL）散度项将该目标施加于分支权重。由此每
多分支网络结合了归纳偏置互补的骨干网络，但其融合模块仅从特征统计设定分支权重，因而对像素所代表的语义信息视而不见。研究人员改为在标签空间监督融合：将真值标签转换为逐像素路由目标，并通过Kullback–Leibler（KL）散度项将该目标施加于分支权重。由此每个像素被路由至适合其类别的分支：卷积分支处理细粒度边界，状态空间分支处理大块同质区域，窗口注意力分支处理中等尺度上下文。该机制在HRFNet中实例化，这是一个具有分支特定膨胀率的三分支编码器。HRFNet在Cityscapes与CamVid上分别取得76.85%与79.88%的平均交并比（mean Intersection over Union，mIoU，5次随机种子平均），在59类PASCAL Context与150类ADE20K基准上分别取得58.18%与46.74%，超越所有同等预算下重训练的基线。消融实验将增益定位于路由而非新增容量：路由融合相较平均融合提升2.29% mIoU，其中1.53%来自标签空间目标本身，仅耗费3.8M参数与网络计算的8.8%。全部九个消融对照在Holm–Bonferroni校正后保持显著，且增益在所有两分支配置中均持续存在。
研究背景方面，城市街景语义分割支撑自动驾驶、交通监控与数字孪生等智能交通系统（Intelligent Transportation Systems，ITS）。现有三类主导骨干各具互补结构优势：卷积神经网络（Convolutional Neural Network，CNN）凭局部性归纳偏置捕捉纹理与边缘，但长程依赖建模弱；分层视觉Transformer（如Swin Transformer）以移位窗口自注意力获全局依赖与多尺度表征；状态空间模型（State-Space Model，SSM，如Mamba/VMamba）以线性复杂度聚合全局上下文。多分支架构虽并行运行异构编码器，但既有融合策略（固定权重或基于中间激活的自适应门控、TokenFusion、混合专家路由等）均属“语义盲”：分支权重仅由特征统计量决定，类别到分支的对应需间接推断。真值标签本已记录该对应（大同质区需Mamba全局一致性，细边界与前景需CNN局部判别，Swin补中间尺度），却未被用于引导路由。据此研究人员提出核心见解：路由监督应源于标签空间而非特征空间。
关键技术方法上，研究人员在《Electronics》报道了HRFNet。其以ResNet50-OS16、Swin-Tiny、VMamba-Tiny三分支编码器产出四级特征金字塔，由HierarchicalRouter预测逐像素三向分布融合；SemanticRoutingHead将真值标签经Laplacian边界掩码与类别到分支映射M转为逐像素KL路由目标，浅层按边界/内部选CNN/Mamba，深层按类别映射，Swin设固定下限floor；以逐类平均KL散度对齐路由器输出并加hinge平衡损失防崩溃；TriSuperASPP按各分支感受野赋特定膨胀率（CNN 6,12,18、Mamba 12,24、Swin 24,36）并跨分支通道注意力交互；训练用交叉熵+Dice+边界权损失为主，KL路由损失自第20轮线性 Curriculum 接入至权重1.0。数据集用Cityscapes（19类）、CamVid（11类）、PASCAL Context（59类）、ADE20K（150类），同预算重训八条基线，五种子验证。
研究结果各节结论如下。引言指明特征统计融合导致语义盲，真值含类别—分支对应而未利用。相关工作综述确认CNN/Transformer/SSM、多分支融合、路由门控、多尺度聚合（ASPP）四类前人工作皆在特征空间算权重。提出方法中，整体架构以三分支+FPN解码；异构骨干提供局部/全局/分层中间尺度互补；GT引导分层路由经全局池化与1×1卷积、局部1×1卷积双路加可学习温度softmax得权重，标签空间目标由边界与M映射生成、KL损失配平衡损失，区别于深监督（辅CE头预测类别分布）；TriSuperASPP以分支特定膨胀率补各支最缺上下文；路由与骨干解耦故可迁两分支；训练目标含Curriculum门控KL。实验部分，数据集小节依标签集大小与域选四基准，群权重α_C=1.0/α_F=0.6/α_H=0.6由类数不对称推得非调参；实现细节固定所有路由超参跨数据集；消融研究示平均融合74.56%、标量权75.06%、无GT路由75.32%、Aux-CE 75.26%，全模76.85%，GT-KL贡献1.53%，路由参3.8M，去VMamba降3.48%、去Swin降2.67%，TriSuperASPP替标准ASPP降0.80%，分支特定膨胀与跨支注意力有超加性交互（交互项占33.8%）；路由可迁性在两支配置全正（CNN+Swin +1.91%、CNN+Mamba +1.77%、Swin+Mamba +0.62%）；超参敏感中floor α_S=0.05为平衡阈值同值，删floor掉1.92%、 epoch0起KL掉1.21%；标注鲁棒性示组内噪声保距差仅0.03%、对称噪声掉1.53%；九消融对照Welch t检验加Holm–Bonferroni全显著（p_adj<0.01，Cohen's d>1.4）。对比其他方法节，Cityscapes上HRFNet 76.85%领先TransFuse 74.23%（+2.62%）、VMamba-T+UperNet 74.65%（+2.20%）、ConvNeXt-B 75.96%（+0.89%），细类pole 58.50、sign 78.61最高；CamVid 79.88%领先基线，pole 27.77%远优于TransFuse 8.37%；PASCAL Context 58.18%超ConvNeXt-B +1.16%；ADE20K 46.74%居首；MS+flip下排名不变；效率上单卡RTX4090、fp16、批1，HRFNet约111.24M参、330.3 GFLOPs、Cityscapes 38.6 FPS。
讨论与结论部分，研究人员指出增益来自标签空间显式类别—分支对应而非容量：随机置换M退至无监督水平（75.34%），反转CNN/Mamba组降至74.91%且细边界类受损；路由与骨干解耦故两支亦受益，且三支增益最大说明随互补偏置增多而复合上升；floor α_S控制Swin分配近似仿射（r^2=0.97），路由器不自发抬高Swin分配；标注噪声仅跨语义组才伤路由，现实混淆（bus/truck、wall/fence）不跨组故鲁棒；九对照经Holm–Bonferroni全显著，效量d>1.4。结论为：GT引导KL路由在标签空间建立像素类别到分支归纳偏置的显式对应，HRFNet于四基准（Cityscapes 76.85%、CamVid 79.88%、PASCAL Context 58.18%、ADE20K 46.74% mIoU）同等预算超所有重训基线，增益定位路由自身（标签空间目标贡献1.53%／总2.29%），仅增3.8M参（3.4%）与8.8%计算，机制与三分支实例解耦可在两支迁移，为语义分割多分支融合提供不依赖特征统计的通用范式。
