PILOT：一种基于边界引导的无回放持续学习方法用于实时语义分割(Real-Time Semantic Segmentation via Boundary Guidance)

《Electronics》：PILOT: A Replay-Free Continual Learning Approach for Real-Time Semantic Segmentation via Boundary Guidance

　　

实时语义分割(Real-time semantic segmentation, RTSS)模型在精度与推理速度间取得了良好平衡。然而将此类模型部署于动态真实环境中时，常需具备增量学习新类别而不重新训练全数据集的能力，即持续学习(Continual Learning, CL)。标准微调方法常遭受灾难性遗忘(Catastrophic Forgetting)，即模型学习新知识却丢失旧类精度。本文提出一种专为PIDNet（一种广泛引用的先进实时语义分割模型）定制的新型CL框架——PILOT（Parallel Incremental Learning Over Time，平行时序增量学习）。PILOT引入轻量实时策略，通过实现一个平行的Derivative分支（D-branch，导数/边界分支）来捕获新类别的高频边界信息，同时冻结原始分割网络已训练参数。该设计使模型适应新语义类别同时保留已学类别知识。仅使用新类别关联数据训练，显著降低训练开销。实验结果表明该方法在维持原始基类别(base classes)高均值交并比(mean Intersection over Union, mIoU)的同时成功分割新类别，优于先前实时分割场景下的CL方法。PILOT以少于5%的额外参数量、仅约9%的帧率下降有效缓解灾难性遗忘，维持实时性能。

论文解读：PILOT——基于PIDNet边界分支引导的无回放实时语义分割持续学习框架

本文发表于《Electronics》。

一、研究背景与动机

语义分割(Semantic Segmentation)是自动驾驶车辆与移动机器人感知环境的基础任务，需为每个像素分配语义标签。现实场景中待识别物体类别会不断扩展，若每新增一类便从头重训整个模型，计算昂贵且不实用，故需类增量持续学习(Class-Incremental Continual Learning, CIL)能力。标准卷积神经网络(Convolutional Neural Network, CNN)微调新类数据会引发灾难性遗忘(Catastrophic Forgetting)——旧类性能急剧下降。现有CIL方法多依赖旧数据回放(Replay Buffer)或知识蒸馏(Knowledge Distillation, KD)及正则化约束权重更新，引入较大内存与计算开销，且多面向重型离线模型（如DeepLabV3+ResNet-101），不适用于注重参数量与每秒帧数(Frames Per Second, FPS)的轻量实时模型如PIDNet。PIDNet基于比例–积分–微分(Proportional–Integral–Derivative, PID)控制器思想设计三分支结构：P分支(Proportional Branch)提取语义上下文、I分支(Integral Branch)做中间特征精炼、D分支(Derivative/Boundary Branch)专用于高频边界检测，三者在末端融合输出。PIDNet本身无内置持续适应机制。为此，研究人员开展本研究，提出PILOT框架，在不使用回放与蒸馏、不更新主干参数的前提下赋予PIDNet增量学习新类能力，并在Cityscapes基准上验证其有效性及实时效率优势。

二、主要关键技术方法

研究人员选用Cityscapes城市街景数据集（2975张训练、500张验证、2048×1024分辨率，19类语义标签），以PIDNet-S/M/L为骨干网。先在正常15基类上训练并完全冻结主干及原分割头；增量阶段每次仅引入1个新类（Bus、Train、Motorcycle、Bicycle依次加入）的数据集，不存储旧类数据。在PIDNet原冻结D-branch旁并联一个结构相同的可训练平行边界分支(Parallel Boundary Branch)，通过可训练投影层注入冻结I-branch的中间特征以获取语义上下文，其输出送入专属新类头(New Class Head，含背景通道+逐新类通道，随步长扩维)。训练时仅优化平行边界分支与新类头参数，损失函数为新类像素级Softmax交叉熵(Cross-Entropy, CE)，基类别像素标为背景负样本。推理采用置信度阈值路由(Confidence-based Routing)：新类头超阈值τ的像素判为新类，否则回退至冻结主干预测基类别，两通路独立合并为最终分割图。通过消融确定D-branch为最佳挂接位置，设定全局阈值τ=0.7。

三、研究结果

4.1. Continual Learning（持续学习能力评估）

研究人员将基类设为15类，分4步各增1新类至共19类，对比联合训练(Joint Training, 理论上界)、朴素微调(Fine-Tuning, 下界)、仅新头(New Head Only)、部分/全D-branch微调(Partial/Full D-FT)及PILOT。结果显示：Fine-Tuning基类mIoU从80.92%跌至59.90%；PILOT在PIDNet-M上最终整体mIoU达71.87%，基类保留mIoU 77.38%（保留率95.6%），优于各基线。证明平行边界分支隔离新容量、不扰动冻结主干是性能提升根源而非单纯增加参数量。

4.2. Comparison with State-of-the-Art Methods（与现有持续语义分割方法对比）

在Cityscapes 14-1（6任务）与10-1（10任务）协议下对比PLOP、MiB、MiB+AWT、DKD、TOPICS（均基于DeepLabV3+ResNet-101）。虽骨干不同，PILOT基类保留mIoU(14-1下1–14类)达76.52%高于TOPICS的73.03%，新类mIoU(15–19类)达49.20%高于TOPICS的42.47%。10-1步间整体mIoU曲线平坦，终值65.68%超TOPICS 6.32个百分点，表明边界引导设计在长序列增量中更好抑制遗忘并具塑性。

4.3. Dynamic Stability Analysis（稳定性–可塑性动态分析）

对比PIDNet-S/M/L三变体，首步引入新类时mIoU短暂下降后曲线走平。PIDNet-M（平行分支~0.31M参数）综合最优；PIDNet-L因可训练分支过大(0.48M)易过拟合单类少量标注像素，PIDNet-S因容量不足边界特征学得不充分。证明中等容量主干在冻结背景下提供最佳稳定性–可塑性权衡。

4.4. Ablation Analysis（挂接点消融分析）

分别将平行增量分支挂至冻结主干P-、I-、D-branch并比较。三者基类mIoU接近（76.75%/77.49%/77.22%），但整体mIoU以挂D-branch最高(72.65% vs I-70.25% vs P-67.97%)。原因为D-branch融合I-branch上下文与高频边界残差，既有语义定位又具空间精度，且边界激活稀疏抗少样本过拟合，最适合作为增量塑性注入点。

4.5. Hyperparameter Analysis（超参数与路由可靠性分析）

扫描新类头决策阈值τ，各类在新类AUC均>0.985，说明边界特征具固有可分性。全局固定τ=0.7时各类IoU距各自最优仅微降（均值差1.2%），无需逐类调参。路由统计显示基类别像素被误判为新类率仅0.08%，路由精度91.3%，冲突像素占比0.04%且84%确属新类，证实置信路由几乎不破坏基类别预测。低频类(Train、Motorcycle)AUC同样高，性能瓶颈在主观测少与物体尺度而非过拟合。

4.6. Computational Efficiency（计算效率评估）

平行边界分支与新类头为PIDNet-M仅增~0.31M参数（增幅<5%）、FLOPs可忽略；FPS由基干93.2降至84.7（降幅~9%），延迟11.8ms，仍属实时范畴；DeepLabV3+ResNet-101仅约17FPS。训练时仅反向传播轻量模块，单步迭代耗时低，峰值显存382MB（PIDNet-M），适合部署后增量适配。

4.7. Qualitative Analysis（定性可视化分析）

逐步加入Bus、Train、Motorcycle、Bicycle后，模型可准确分割细结构自行车且与Person类边界分明，同时Road、Car、Vegetation等基类别掩码在各步保持一致未退化；PIDNet-M视觉效果最稳，印证定量结论。

四、讨论与结论

研究人员指出框架通过冻结主干并将可塑性局限至平行D-branch，从结构上解决稳定性–可塑性权衡及背景偏移(Background Shift)问题，无需回放或蒸馏。中等容量PIDNet-M优于更大PIDNet-L系因大可训练分支易过拟合稀缺新类数据。局限性含：当前评估为逐类单步添加，同步多类添加未测；与基类别纹理极近似的新类可能引发少量假阳性；极稀有类精度受限于冻结主干特征可分性。未来方向含推广至Transformer类分割模型与检测任务、拓展至非驾驶场景数据集、自适应校准路由阈值。

结论翻译：

综上所述，PILOT成功弥合了先进持续学习策略与轻量分割模型严苛延迟约束间的鸿沟。与依赖重型离线架构的传统框架不同，所提方法保持高帧率与低推断延迟——这对实时处理至关重要——为真实世界自动驾驶系统提供高效且可部署的方案。这意味着自动驾驶车辆、配送机器人与智慧城市摄像头可持续在线学习识别新物体（如新型车辆与临时道路屏障），完全免除昂贵的离线重训练，确保自主系统在快速变化环境中安全即时适应。