《Neurocomputing》：Look around when in doubt: Adaptive contextual reasoning for conformal and explainable road object detection with CAESAR++
编辑推荐：
可信赖的目标检测是运行于安全关键应用中的自主视觉系统的基石。本文提出CAESAR++（通过语义归因与优化实现的上下文感知解释，Context-Aware Explanations via Semantic Attribution and Refinement）
可信赖的目标检测是运行于安全关键应用中的自主视觉系统的基石。本文提出CAESAR++（通过语义归因与优化实现的上下文感知解释，Context-Aware Explanations via Semantic Attribution and Refinement），一种旨在提升道路目标检测可信赖性的自适应上下文推理框架。CAESAR++集成了两步保形预测（conformal prediction）方法，以获得具有统计学依据的不确定性估计，用于判定何时需要进行上下文推理；依据该不确定性动态校准上下文窗口大小；并采用双颜色显著图（saliency maps），在统一解释中解耦自下而上的感知证据与自上而下的上下文线索。不同于将不确定性估计与可解释性视为相互分离组件的方法，CAESAR++在无需重新训练核心模型的前提下，将二者耦合于一个与检测器无关（detector-agnostic）的单一流水线中。基于TJU-DHD-Traffic、BDD100K和Pascal VOC以及10种最先进检测器开展的综合实验表明，该方法在检测精度、鲁棒性、不确定性校准以及解释质量方面均实现了稳定提升，同时保持了具有竞争力的计算效率。这些贡献推动了面向自主导航安全的透明、稳健且负责任视觉系统的发展。
该文发表于《Neurocomputing》，围绕自动驾驶与高级驾驶辅助系统（ADAS）中的道路目标检测可信赖性问题，提出了一个将不确定性量化、上下文增强与事后可解释性统一起来的检测增强框架CAESAR++。研究背景在于：尽管深度学习目标检测器已显著提升城市交通场景感知能力，但在雾、雨、不均匀照明、遮挡以及复杂城市场景中，小目标、远距离目标与局部视觉证据不足的样本仍然容易产生漏检、误检和误分类。现有方法通常存在三类不足：其一，多数检测器主要依赖局部感兴趣区域的视觉特征，难以充分利用更广泛的场景上下文来消解歧义；其二，已有不确定性量化方法虽可评估预测风险，但很少真正将不确定性反馈用于修正检测结果；其三，现有可解释方法多提供人可读解释，却无法回答“何时需要额外上下文推理”这一关键问题。因此，在安全关键视觉任务中，可靠性与可解释性长期处于彼此分离的状态，缺乏统一且互补的解决方案。基于此前提出的CAESAR框架，研究人员进一步构建了CAESAR++，通过统计学严格的不确定性控制来驱动自适应上下文增强，并以视觉解释显式呈现对象证据与上下文证据的分工，从而在不修改底层检测器结构、也不重新训练核心模型的前提下，增强道路目标检测的透明性、稳健性与可部署性。
从技术路线看，研究人员首先利用轻量级语义分割模型DeepLabV3+结合MobileNetV2骨干网络构建上下文先验，并在Cityscapes、TJU-DHD-Traffic、BDD100K和Pascal VOC图像上统计道路目标与上下文类别的空间共现关系；随后基于来自TJU-DHD-Traffic与BDD100K困难驾驶场景的9000幅校准图像，采用两步保形预测（conformal prediction）分别对类别标签与边界框进行后验校准，形成带边际覆盖保证的不确定性估计；进一步依据归一化不确定性分数自适应扩展上下文窗口，对高不确定检测进行上下文增强与重检测；最后基于Grad-CAM++构建对象级双颜色显著图，将目标本体的自下而上证据与上下文推理的自上而下证据分离显示。实验覆盖TJU-DHD-Traffic、BDD100K和Pascal VOC三个5000幅图像验证集，并在YOLOv8m、IA-YOLO、RS-YOLO、EfficientDet-D4、DF-FCOS、L-SSD、AttenRetina、RT-DETR-R50、DINO和Faster R-CNN等10种检测器上系统评估。
在主体内容中，文章首先通过“Detection challenges in urban environments”指出城市环境中的检测困难来自遮挡、恶劣天气、小目标与速度—精度折中等多重因素叠加，说明单纯依赖局部视觉外观难以保证检测可靠性，因此需要能够综合上下文与风险信息的框架。在“Uncertainty quantification in vision”中，研究人员梳理了贝叶斯方法、集成方法与保形预测的发展，强调两步保形检测可同时处理标签与边界框非一致性，但现有方法尚未把校准后的不确定性真正转化为检测修正信号。于“Explainability for object detectors”部分，论文指出基于CAM、扰动与结构化显著性的解释器虽能提供实例级热力图，但通常采用固定策略，无法根据预测不确定程度选择性分配解释与增强资源。“Contextual and top-down reasoning”则从人类视觉中的自上而下加工出发，说明上下文可帮助困难目标识别，但既有方法常需修改网络结构，削弱了检测器无关性与轻量部署能力。
在“Context computation”部分，研究人员详细说明了上下文先验的构建过程。语义分割被用作上下文来源而非替代检测，原因在于其能够比边界框更细致地捕获类别边界与静态场景元素。通过对每个道路目标实例在固定空间窗口内统计不同类别实例的共现频次，并进行类别频率归一化，研究人员为每一类道路目标筛选出最相关的3类上下文类别与3类共现道路目标类别。该设计的关键意义在于：上下文并非任意引入，而是来自数据驱动的空间语义关系，为后续上下文增强提供有约束的语义依据。
在“Two-step conformal prediction”中，论文给出了CAESAR++不确定性量化的统计核心。标签校准通过真实类别预测概率的补数构造非一致性分数，并据此形成保形标签集合；边界框校准则采用保形化分位数回归（Conformalized Quantile Regression，CQR），对每个坐标的上下分位预测区间进行调整，并由最大坐标偏差形成整体框非一致性分数。该过程在校准集与测试集满足可交换性前提下，能够为真实标签与真实边界框提供边际覆盖保证。由此，检测器原有的置信分数被更具统计可靠性的风险估计所替代，为后续是否触发上下文增强提供控制信号。
在“Adaptive contextual enhancement”部分，文章提出CAESAR++的关键创新之一：将标签与边界框的归一化非一致性分数合成为有界不确定性分数，并据此连续地决定上下文窗口的扩展尺度。与原始CAESAR依赖人工阈值的做法不同，CAESAR++采用线性映射，使上下文窗口从保形外包框平滑扩展至更大图像区域；同时利用最近1000个检测不确定性分数的第10百分位数动态定义“确定”检测，使低风险检测直接沿用原始结果，高风险检测再进入上下文增强路径。该设计解决了固定阈值与固定尺度难以兼顾不同场景、不同检测难度的问题，实现了更加稳健且节约计算的自适应处理。
在“Dual-color saliency maps”中，研究人员提出第二项核心创新，即双颜色显著图。红色通道表示初始检测阶段由目标外观直接支持的自下而上证据；蓝色通道表示上下文增强后新增的自上而下上下文贡献，其构造方式为优化后显著图与原始显著图之差。对于被判定为确定的目标，仅保留平滑后的红色显著图；对于高不确定目标，则通过红蓝融合生成统一可视化。该方法的意义在于，解释不再只是“哪里重要”，而是进一步揭示“目标自身证据”与“上下文补偿证据”各自如何参与最终决策，这对于复杂道路场景中的歧义样本尤为重要。
实验结果部分依次从不确定性量化、检测性能、解释质量、计算效率与消融分析展开。在“Uncertainty quantification evaluation”中，研究人员报告CAESAR++在不同数据集与不同目标尺度上均获得更高且更稳定的覆盖率，尤其对视觉信息不足的小目标改善最明显；与此同时，预测集合规模与边界框区间宽度保持紧凑，说明该方法并非通过过度保守扩大不确定区间来换取覆盖率，而是在有效控制区间大小的同时提升校准质量。Pascal VOC由于背景较简单而表现出更稳定的覆盖，而BDD100K与TJU-DHD-Traffic的类别波动更大，但CAESAR++可减轻这种不平衡。
在“Detection performance analysis”中，Table 2显示CAESAR++对10种检测器均带来一致收益。IA-YOLO与RS-YOLO在保持较高帧率的同时实现mAP@0.50:0.95约2.5个百分点的提升，并显著降低漏检率（False Negative Rate，FNR）与误检率（False Discovery Rate，FDR）；RT-DETR-R50在Transformer-based检测器中获得最强综合表现；Faster R-CNN虽绝对精度最高、增益也最大，但推理速度明显低于实时要求。Table 3进一步表明，该框架对小目标收益最大，在person、rider、motorcycle与bicycle等尺寸较小、外观变化更大的类别上改进尤为突出。这一结果直接印证了CAESAR++设计初衷：利用上下文补偿局部视觉证据不足造成的识别困难。
在“Visual explanation assessment”中，研究人员从忠实性（faithfulness）、定位性（localization）与稳定性（robustness）三个方面，将CAESAR++与D-RISE、D-CLOSE、D-MFPP、D-CRISP、ODAM和HAG-XAI等对象级解释器比较。结果显示，CAESAR++在Insertion指标上取得最优，在Deletion上保持竞争力，说明其突出区域确实更能支撑检测器决策；在EBPG上，由于方法显式纳入边界框外上下文，得分略低于部分纯对象内解释器，但这种现象恰恰反映了其解释范围更符合复杂检测决策的真实机制；在Average Stability（AvgS）上，CAESAR++持续取得最低值，表明在输入微扰下具有最稳健的解释输出。文章配合定性案例说明，该方法不仅能修正漏检与定位偏差，还能通过红蓝分解直观展示修正产生的原因。
在“Computational efficiency analysis”中，论文指出CAESAR++并不对所有检测统一施加相同计算负担，而是只在不确定目标上触发额外处理。两步保形预测本身开销较小，语义分割与重检测仅在需要时激活，因此总体计算代价受不确定实例数量控制。双颜色显著图由于复用了Grad-CAM++骨干，仅额外增加轻量上下文分解步骤，其延迟明显低于基于大规模掩码与分割扰动的D-CRISP。这表明CAESAR++在“只把额外计算分配给难例”这一设计原则上是成立的。
在“Abalation studies”中，研究人员通过逐步叠加组件验证各模块贡献：从基于置信分数的不确定性、无上下文扩展和集中式显著图的基线出发，引入固定尺度上下文和自适应显著图后，检测性能与校准质量即出现明显提升；进一步引入仅对边界框的保形预测、再到完整的两步保形预测、自适应上下文扩展与双颜色显著图组合后，模型在精度、漏检率、误检率、覆盖率、解释忠实性与稳定性上均达到最佳。这说明CAESAR++并非单一技巧带来的改进，而是多个互补模块协同产生的系统性增益。
讨论部分主要集中于方法有效性与失效模式。研究人员指出，CAESAR++最适用于具有稳定语义关系的复杂城市道路场景，此时上下文词汇表与场景结构匹配，不确定性信号具有较高信息价值，自适应窗口能够检索到有效邻域线索，解释模块也能清楚呈现上下文贡献。文章同时明确两类失效模式：其一，在超出预定义上下文词汇的异常或分布外（out-of-distribution）场景中，尽管不确定性会上升，但上下文增强可能因缺少匹配的语义关系而获得不完整甚至误导性线索，导致修正收益有限；其二，在稀疏场景中，相关上下文元素距离过远，即便触发了窗口扩展，也可能无法纳入足够信息，从而增加计算而不带来相应增益。论文据此强调，CAESAR++的有效性建立在“熟悉且语义可解释的上下文结构”之上，这是其适用边界的重要组成部分。
研究结论部分可译为：本文提出了CAESAR++，一种自适应整合严格不确定性量化、上下文增强与双颜色显著图的框架，即使在复杂城市环境中，也能够提升目标检测的可靠性与可解释性。通过在多个数据集和检测器上的广泛评估，CAESAR++展示出提高检测精度、提供有意义的实例级解释并高效分配计算资源的能力。其模块化且与检测器无关的设计促进了广泛适用性与稳健泛化。总体而言，该研究的重要意义在于，将“是否可信”“为何如此判断”以及“如何利用上下文修正困难样本”三者统一到同一后验增强流水线中，为自动驾驶安全场景下透明、稳健、负责任的视觉感知系统提供了具有统计支撑与工程可行性的实现路径。
