基于Transformer-CNN双分支架构与并行特征交互的监督式单目深度估计方法研究

《Engineered Regeneration》：A domain adaptation method to Defend Chinese textual adversarial attacks via prompt-tuning

本文提出了一种创新的Transformer-CNN双分支网络架构（TC-Net），通过并行特征交互模块（PFIM）实现全局上下文与局部空间特征的深度融合。该研究针对传统CNN方法感受野受限与Transformer网络局部细节丢失的痛点，设计了低层信息获取模块（LIAM）和宽域多尺度解码器（WAMD），在KITTI和NYU-Depth-v2数据集上达到state-of-the-art性能，为自动驾驶和三维重建提供重要技术支撑。

　　

¹基于CNN的方法

CNN方法主要通过深度卷积网络提取图像特征，输入图像并输出对应深度值。Laina等人（2016）采用深度残差网络（ResNet）进行特征提取和深度预测。Eigen等人（2014）使用VGG-16网络作为编码器，并采用双线性上采样技术进行解码。Godard的深度网络（Monodepth2）（Godard等人，2017）是经典的无监督...

²提出的方法

本节首先介绍由Transformer分支和CNN分支组成的双分支网络结构。其次给出并行特征交互模块（PFIM）。第三说明低层信息获取模块（LIAM）的设计原理。最后详细阐述宽域多尺度解码器（WAMD）的机制。

³实验

本节将展示在KITTI和NYU-Depth-v2数据集上的实验结果，证明所提框架的优越性。

⁴结论

我们提出了一种新型Transformer-CNN双框架用于监督式单目深度估计，旨在解决完整多尺度信息提取问题。针对CNN方法在有限感受野内难以建模全局关联性，以及Transformer网络缺乏空间感知偏差的缺陷，我们设计了并行特征交互模块（PFIM），有效捕获局部与全局信息，从而获得...