可学习量子效率滤波器：面向城市场景高光谱语义分割的物理启发式降维方法

《IEEE Open Journal of Vehicular Technology》：Learnable Quantum Efficiency Filters for Urban Hyperspectral Segmentation

针对城市场景高光谱感知中高维度数据带来的解析与学习效率难题，本研究提出物理启发的可学习量子效率(LQE)降维方法，通过参数化平滑高阶光谱响应函数模拟传感器量子效率曲线，结合物理约束实现端到端训练。在三个公开数据集上的系统评估显示，LQE平均mIoU显著优于传统及可学习方法，同时具备参数高效性(12–36参数)与推理延迟竞争力，为车载视觉系统的光谱感知与传感器设计提供了性能与可解释性兼顾的原理性桥梁。

　　

在城市驾驶的复杂场景中，摄像头捕捉到的图像早已超越了人类肉眼可见的红绿蓝三原色。高光谱传感技术的出现，就像给车辆装上了一副能分辨数百种颜色的“超级眼镜”，它能捕获从可见光到红外波段的数百个连续窄波段信息，形成所谓的“数据立方体”。这种丰富的光谱指纹对于精准识别道路、车辆、行人以及各种交通标志至关重要，尤其是在光照变化剧烈或目标伪装的城市环境中。然而，这副“超级眼镜”也带来了甜蜜的负担——极高的数据维度。海量的光谱通道不仅让数据处理的计算成本飙升，也对后续的深度学习模型提出了严峻挑战，容易导致过拟合和训练困难。传统的降维方法往往依赖固定的数学变换，缺乏对物理意义的考量，而现有的可学习降维层又常常像黑箱一样难以解释，无法与实际的传感器硬件设计产生关联。如何既能有效压缩数据维度、提升模型效率，又能保持物理可解释性，成为连接高光谱感知与自动驾驶落地的关键瓶颈。

为了解决这一难题，研究人员提出了一种名为“可学习量子效率(Learnable Quantum Efficiency, LQE)”的创新方法。这是一种受物理学启发的、具有高度可解释性的降维(Dimensionality Reduction, DR)技术。其核心思想并非凭空构建映射，而是参数化模拟真实传感器中量子效率(Quantum Efficiency, QE)曲线的特性——即那些平滑且具有特定峰值的高阶光谱响应函数。与以往方法不同，LQE引入了物理动机的约束条件，强制响应函数具有单一主峰、平滑过渡以及有限带宽。这种设计使得LQE能够作为一个完全可微分的模块，无缝嵌入到语义分割模型(Semantic Segmentation Models, SSMs)中进行端到端训练。

该研究在《IEEE Open Journal of Vehicular Technology》上发表，通过系统的实验验证了LQE的优越性。研究团队在三个公开的多类别高光谱城市驾驶数据集上进行了全面评估：HyKo、HSI-Drive和Hyperspectral City。他们将LQE与六种不同的传统降维方法和七种可学习基线方法进行了对比，涵盖了六种主流的语义分割模型架构。结果显示，在所有模型和配置的平均表现上，LQE取得了最高的平均交并比(mean Intersection over Union, mIoU)。具体而言，相比传统方法，LQE在HyKo、HSI-Drive和Hyperspectral City数据集上分别提升了2.45%、0.45%和1.04%；而相较于其他可学习方法，提升幅度分别为1.18%、1.56%和0.81%。更为难得的是，LQE在保持高性能的同时，展现了极佳的参数效率，仅需12至36个参数，远低于竞争对手可学习方法所需的51至22000个参数，并且拥有具有竞争力的推理延迟。消融实验进一步揭示，低阶配置通常是最优选择，且学习到的光谱滤波器最终会收敛到数据集固有的波长模式上。这些发现有力地证明了，物理信息引导的光谱学习能够同时提升模型的性能和可解释性，为高光谱感知与数据驱动的多光谱传感器设计之间架起了一座原理性的桥梁。

为了开展此项研究，作者采用了几个关键技术方法。首先，设计了可学习量子效率(LQE)模块，通过参数化平滑高阶光谱响应函数来模拟传感器量子效率曲线，并施加单主峰、平滑响应和有界带宽的物理约束，使其可微分并支持端到端训练。其次，构建了系统的评估框架，在HyKo、HSI-Drive和Hyperspectral City三个公开的多类别高光谱城市驾驶数据集上进行测试。最后，将LQE与六种传统降维方法及七种可学习基线降维方法进行比较，并在六种语义分割模型(SSM)架构下进行训练和验证，采用平均mIoU作为主要评价指标，并进行了参数效率和推理延迟的分析以及消融实验。

Abstract:

研究摘要指出，高光谱传感为城市场景理解提供了丰富的光谱信息，但其高维度特性给解析和高效学习带来挑战。提出的LQE是一种受物理启发的可解释降维方法，通过参数化模拟传感器量子效率曲线，并施加物理约束，生成紧凑的光谱表示。在三个数据集上的系统评估表明，LQE在所有SSM和配置中实现了最高的平均mIoU，显著优于传统和可学习基线方法，同时保持了参数效率（12–36参数）和推理延迟竞争力。消融研究显示低阶配置最优，且学习到的滤波器收敛于数据集固有波长模式。

研究结果

1. 1.
   性能对比： 通过在三个数据集和六种SSM上的广泛实验，LQE在平均mIoU指标上均超越了所有基线方法。具体数据显示，相对于传统方法，LQE在HyKo、HSI-Drive和Hyperspectral City上的提升分别为2.45%、0.45%和1.04%；相对于可学习方法，提升分别为1.18%、1.56%和0.81%。
2. 2.
   效率分析： LQE展现了卓越的参数效率，仅使用12到36个参数，而其他可学习降维方法通常需要51到22000个参数。同时，LQE保持了具有竞争力的推理延迟，适合实时应用。
3. 3.
   消融研究与滤波器分析： 消融实验表明，低阶（Low-order）的LQE配置通常能获得最佳性能。此外，可视化分析显示，学习到的光谱滤波器最终收敛到了与数据集内在特征相关的特定波长模式，验证了其物理合理性。

结论与讨论

该研究提出的LQE方法成功地将物理先验知识引入深度学习驱动的降维过程中，解决了高光谱图像处理中性能与可解释性难以兼得的矛盾。通过模拟真实的传感器量子效率响应，LQE不仅大幅减少了模型参数量，降低了计算负担，还使得降维过程不再是一个不可知的“黑箱”，而是具有明确的物理意义。研究结果表明，物理信息引导的学习策略在高光谱感知领域具有巨大潜力。更重要的是，由于LQE学习到的滤波器模式反映了数据集最本质的光谱特征，这为下一代面向自动驾驶的多光谱传感器的光学滤光片设计提供了直接的数据驱动指导。这项工作为连接高光谱感知算法与硬件传感器设计提供了一个原理性的框架，有望推动自动驾驶视觉系统向更高效、更可靠的方向发展。