EGHF-Net：一种基于几何约束的可变形交叉注意力机制，用于事件-RGB语义分割，并结合了时空对齐技术

《Expert Systems with Applications》：EGHF-Net: Geometry-Guided Deformable Cross-Attention for Event-RGB Semantic Segmentation with Spatio-Temporal Alignment

　　•EGHF-Net 对齐 Event-RGB 模态，以实现鲁棒的 HDR 语义分割。
•ST-EIM 使用扩展的对称核来捕捉扩散的运动条纹。
•GDF 通过可学习的可变形偏移显式解决跨模态视差问题。
•具有 sparse-aware 特性的非对称设计在保持高效率的同时实现了最佳精度（SOTA）。

**引言**
语义分割是自动驾驶系统中环境感知的基石，要求算法在非结构化环境以及复杂或极端光照条件下具备高鲁棒性（Chen, Zhu, Papandreou, Schroff, Adam, 2018; Long, Shelhamer, Darrell, 2015; Zhang, Li, Zhao, Xu, 2025）。传统的基于框架的相机受到固定积分时间和有限动态范围的限制，因此在高速运动或低光照条件下的性能会显著下降。相比之下，受生物启发的事件相机（例如 DVS、DAVIS）采用异步感测机制，仅在亮度变化超过阈值时触发信号（Gallego et al., 2020）。这使它们具备微秒级的时间分辨率和高动态范围（HDR）。因此，将事件流的高频运动线索与 RGB 图像的丰富纹理语义相结合，已成为实现全天候、鲁棒场景理解的前沿范式（Kou, Wang, Peng, Zhao, Chen, Han, Huang, Yu, Fu, 2023; Sun, Messikommer, Gehrig, Scaramuzza, 2022; Zhang, Liu, Yang, Hu, Liu, Stiefelhagen, 2023a）。尽管 RGB-Event 跨模态协同作用潜力巨大，但由于传感器异质性带来的两个核心挑战，实现有效的特征集成仍然非易事：

1. **表示难题**：由事件噪声和运动轨迹的空间扩散引起。原始事件流本质上是空间稀疏的点云，包含大量背景噪声。在高速驾驶场景中，动态物体会在传感器上产生长时间、扩散的运动条纹。使用标准紧凑卷积（3×3）或严格不重叠核的现有方法具有受限的感受野（Gehrig, Loquercio, Derpanis, & Scaramuzza, 2019），它们缺乏包裹和封装这些扩展动态结构所需的空间能力，导致特征提取碎片化以及局部噪声的放大。虽然传统图像处理通常将分割与复杂的去噪算法结合使用（Tian & Chen, 2020），但这些方法对于事件流的异步和稀疏特性来说根本不够适用。
2. **严重的跨模态空间错位**：由传感器视差和不同的采样机制引起。由于事件相机的物理定位（基线视差）和异步触发，高保真 RGB 纹理与稀疏事件结构之间存在自然的空间差异（Zhu et al., 2025）。尽管最近的状态空间模型（SSMs），如 MambaSeg（Gu et al., 2026），在捕获长距离全局上下文方面表现出色且计算复杂度低，但它们主要依赖于隐式特征聚合。我们认为，全局上下文意识不等同于像素级几何对齐。在深度变化严重的动态驾驶场景中，隐式融合仍无法明确解决不匹配的空间位置问题，通常表现为物体边界处的“重影”伪影。另一方面，基于显式光流的方法可以物理扭曲特征，但引入了过高的计算延迟，这与基于事件的感知的实时要求严重不匹配。

为了解决这些问题，我们提出了 EGHF-Net，这是一个针对高效准确的事件驱动语义分割的统一多模态框架。

为了解决空间扩散表示学习的第一挑战，我们设计了时空增强输入模块（ST-EIM）。与简单的去噪预处理不同，ST-EIM 提供了明确的几何动机：它使用扩展的对称空间感受野（5×5）来最佳封装扩展的高频运动轨迹，并结合坐标注意力（Hou, Zhou, & Feng, 2021）进行空间位置对齐，从而在双流编码之前适应性地增强鲁棒动态特征并抑制孤立背景噪声。

为了解决空间错位的核心挑战，我们提出了几何可变形融合（GDF）模块。该模块通过构建粗到细的对齐系统来超越传统刚性融合的局限性，而无需依赖显式光流。首先，它利用扩张的上下文感知重校准（DCAR）获取全局语义权重，然后使用几何引导的可变形交叉注意力（Zhu et al., 2020）动态预测像素级偏移，显式且非刚性地校正密集 RGB 纹理与稀疏事件结构之间的视差。最后，通过残差精细融合（RRF）机制，根据预测的置信度将对齐的事件特征注入 RGB 主干网络。

为了高效部署这些模块，我们的框架基于一种具有 sparse-aware 特性的非对称架构（利用 SegFormer（Xie et al., 2021）家族）。通过为密集 RGB 流使用重型编码器（MiT-B2），为稀疏事件流使用轻型编码器（MiT-B0），我们策略性地防止资源浪费，确保事件相机的高时间分辨率优势不会受到繁重计算的瓶颈影响。

本文的主要贡献总结如下：
•我们提出了时空增强输入模块（ST-EIM）。该模块利用扩展的对称感受野和坐标注意力，有效封装扩展的运动轨迹并过滤噪声。
•我们设计了几何可变形融合（GDF）模块作为核心的跨模态协同机制。作为一个包含上下文重校准、几何对齐和残差融合的完整单元，GDF 通过可学习的可变形偏移显式解决多模态之间的视差和空间错位问题，避免了光流的开销。

**多模态语义分割架构**
语义分割架构已从全卷积网络（FCNs）（Chen, Zhu, Papandreou, Schroff, Adam, 2018; Long, Shelhamer, Darrell, 2015）显著发展为基于 Transformer 的范式（Wang et al., 2023; Xie et al., 2021），后者在通过自注意力捕捉全局上下文方面表现出色。此外，CNN 和 Transformer 的深度集成在处理多尺度时空变化和复杂注意力驱动模式方面被证明非常有效。

**问题陈述和架构概述**
设同步 RGB 图像表示为 ??????????∈?3×??×??，异步事件流表示为元组序列 ?={????}????=1，其中 ????=(????,????,????,????) 表示时空坐标和极性。主要挑战在于弥合高保真光度域（RGB）与稀疏、空间变化的神经形态域（事件）之间的显著域差异（Zheng et al., 2023）。为了解决这个问题，我们提出了 EGHF-Net。

**数据集和协议**
为了全面评估 EGHF-Net 在不同传感器模态和极端环境条件下的鲁棒性，我们在两个主流基于事件的语义分割基准测试上进行了实验。

**结论、限制和更广泛的影响**
在本文中，我们提出了 EGHF-Net，这是一个统一的分割框架，旨在解决异步事件流和同步 RGB 图像之间的传感器异质性问题。该框架基于具有 sparse-aware 特性的非对称架构，根据模态信息密度分配计算资源。我们引入了两种核心机制：时空增强输入模块（ST-EIM）来封装空间扩散的运动轨迹，以及几何可变形融合（GDF）。