《Journal of Imaging》:A Kernel-Aware Regularization Model for Chromatic-Robust Detection: Analysis of Grayscale-to-RGB Generalization
编辑推荐:
当部署时的输入表示与微调阶段所使用的输入表示不一致时,目标检测模型可能出现显著的性能退化。本研究考察了一种特定的灰度至RGB分布偏移场景,其中基于灰度派生图像微调的检测器随后在RGB输入上进行评估。实验观察揭示了该场景中显著的不对称性:RGB训练的模型通常在灰
当部署时的输入表示与微调阶段所使用的输入表示不一致时,目标检测模型可能出现显著的性能退化。本研究考察了一种特定的灰度至RGB分布偏移场景,其中基于灰度派生图像微调的检测器随后在RGB输入上进行评估。实验观察揭示了该场景中显著的不对称性:RGB训练的模型通常在灰度输入上保持稳定性能,而灰度训练的模型在RGB输入上表现出严重的性能退化以及显著的跨训练运行变异性。研究人员分析了多种YOLO系列检测器首层的色度信息处理机制,表明灰度微调会在特定通道中诱发色度方差坍缩(chromatic variance collapse),该现象与RGB检测失配密切相关。基于上述分析,研究人员引入ColorScore以量化卷积核的色度敏感性,并提出一种核感知正则化方法,用于控制首层输入层的色度-亮度敏感性分配,从而在不修改推理架构的前提下缓解方差坍缩。在四种YOLO骨干网络上,该方法将灰度评估与RGB评估之间的平均绝对mAP50差距从0.140降至0.014。在相同的灰度至RGB评估设置下,该方法同样缓解了RT-DETR-L与Faster R-CNN的性能退化。
**研究背景与意义**
目标检测模型在部署阶段的输入表示与微调阶段不一致时,性能会出现显著退化。研究人员聚焦于一种特定的灰度至RGB输入表示分布偏移:基于灰度图像微调的检测器在RGB输入上评估。该场景广泛存在于工业检测中灰度相机升级为彩色相机的情形,以及医学影像中X射线、CT等本质灰度图像与彩色编码表示共存的应用。已有颜色不变性或颜色增强方法主要面向彩色模型,未解决灰度模型在跨模态评估中表现出的剧烈波动,且常规解释认为灰度训练缺乏色度信息不足以说明这种不对称性,因此有必要从网络内部机制揭示其根源。
**研究内容与总体结论**
研究人员对YOLOv5su、YOLOv8s、YOLO11s、YOLO26s首层(layer 0)卷积核进行分析,将RGB输入分解为一维等通道亮度分量与二维色度残差子空间。在灰度训练中,输入