基于高效 Mamba 交叉注意力的端到端 RGB-D 图像压缩

《IEEE Transactions on Circuits and Systems for Video Technology》：End-to-End RGB-D Image Compression With Efficient Mamba Cross-Attention

　　RGB-D 图像在计算机视觉领域的广泛应用带来了高效传输与存储的需求，使得 RGB-D 图像压缩成为学术界和产业界一个蓬勃发展的研究领域。现有方法通过利用空间信息和模态上下文对该任务进行了初步探索，但实现更高的压缩性能和更快的编解码速度仍然是一个重大挑战。近年来，Mamba 凭借其灵活的结构和卓越的长程建模能力，作为 Transformer 的一种有前景的替代方案崭露头角。具体而言，Mamba 交叉注意力在多模态融合领域展现出了潜力。受此启发，我们提出了一种基于高效 Mamba 交叉注意力的端到端 RGB-D 图像压缩框架。我们引入了跨视觉状态空间（CVSS）模块，以有效整合模态信息并提升压缩效率。此外，为了持续利用和提取通道、空间和模态先验信息，我们设计了通道-空间-模态熵模型（CSMEM），以提高符号概率预测的准确性。我们在两个广泛采用且互补的 RGB-D 基准数据集上评估了该方法：SUN-RGBD 数据集包含超过 10,000 个由多种传感器捕获的、物体布局多样化的室内场景；NYU-Depth V2 数据集则是一个高质量数据集，包含来自复杂室内环境且具有精细深度细节的对齐 RGB-深度图像对。实验结果表明，我们的方法在两个 RGB-D 图像数据集上均优于现有的图像压缩方法。与 BPG 相比，我们提出的框架在 SUN-RGBD 数据集上，基于 PSNR 指标，RGB 图像的码率降低了超过 25%，深度图像的码率降低了超过 35%。本工作的源代码可在以下地址获取：https://openi.pcl.ac.cn/OpenAICoding/MambaRGBDCompress**I. 引言**近年来，计算机视觉和多媒体技术的快速发展导致图像数据量呈爆炸式增长。在各类图像中，RGB-D 图像融合了颜色信息和深度信息，因其在三维重建、自动驾驶、增强现实、显著性检测和机器人等领域的广泛应用而备受关注。与传统 RGB 图像相比，RGB-D 图像提供了更全面的信息。例如，在自动驾驶中，RGB-D 图像中的深度信息可以帮助车辆准确感知自身与周围物体之间的距离，这对于安全驾驶至关重要。在三维重建中，颜色和深度数据的结合可以创建更精确、更细致的真实场景三维模型。虽然深度信息的加入显著提升了这些任务的性能，但也带来了额外的存储和传输开销。因此，RGB-D 图像压缩任务近年来受到了研究人员的越来越多关注。