《Symmetry》：BRD-Stereo: Bilateral Reliability Distillation for Lightweight Zero-Shot Stereo Matching
编辑推荐：
立体基础模型（stereo foundation models）提供了强大的跨域泛化能力，但在实时和资源受限的部署场景下计算成本依然高昂。研究人员提出BRD-Stereo，一种双边可靠性蒸馏（bilateral reliability distillation
立体基础模型（stereo foundation models）提供了强大的跨域泛化能力，但在实时和资源受限的部署场景下计算成本依然高昂。研究人员提出BRD-Stereo，一种双边可靠性蒸馏（bilateral reliability distillation）框架，将基础模型的立体匹配知识迁移至轻量级BANet风格的学生网络。BRD-Stereo将几何扭曲后的互逆左右对应关系视为一种交换对称性（exchange symmetry），并利用由遮挡或误匹配引起的局部对称性破坏来降低教师网络的可靠性。BRD-Stereo对教师监督的空间可靠性进行建模，并将不同形式的教师知识与学生网络的细节/平滑聚合结构对齐。细节分支接收边界与梯度感知监督，平滑分支则由低频视差一致性和局部平面正则化引导。来自左右一致性、图像视差边缘一致性、局部规则性、遮挡感知有效性以及可用教师置信度的可靠性线索对伪标签目标进行加权。切片分数分布蒸馏（sliced score distribution distillation）在教师预测周围传递局部软化的视差目标，而无需完整的教师代价体监督。在Scene Flow、KITTI、ETH3D和Middlebury上的实验表明，相较于普通伪标签蒸馏，该方法在边界、遮挡、弱纹理和大视差区域取得了最大幅度的性能提升，同时保持了BANet量级的推理效率。
一、研究背景与问题
立体匹配（stereo matching）通过从已校正的立体图像对中估计逐像素视差（disparity）并借助三角化恢复深度，为自动驾驶、移动机器人、增强现实和具身智能等应用提供了物理可解释的稠密度量深度感知方案。近年来，深度立体网络借助学习特征表示、代价体（cost volume）和日益复杂的聚合或迭代细化模块，在基准测试上持续提升精度。然而，实际部署中的立体感知系统必须同时满足精度、跨域鲁棒性和推理效率三重要求，这对计算和延迟预算受限的自主与机器人平台尤为关键。
高精度立体网络通常依赖高分辨率三维/四维代价体、重型聚合网络、基于Transformer的全局推理或循环细化模块，其计算和内存开销难以在移动端或延迟敏感平台部署。轻量级立体网络虽通过降低代价体分辨率、紧凑二维聚合模块、稀疏视差搜索或简化细化流程提升效率，但在遮挡、弱纹理表面、重复图案、反光区域、细薄结构和视差不连续等挑战性区域，跨域迁移时鲁棒性明显退化。近期立体基础模型通过大规模训练数据、单目深度先验和高容量架构实现了较强的零样本泛化，但计算成本仍难以满足实时应用需求。
针对上述精度—效率—泛化之间的张力，现有高效零样本立体方法如Fast-FoundationStereo通过压缩教师混合特征骨干并优化其余立体模块实现加速，Lite Any Stereo则结合高效架构设计与分阶段合成到真实数据的训练策略。然而，立体基础教师模型在遮挡、反光表面、重复纹理、透明物体、低纹理区域及物体边界附近产生的伪标签误差在空间上并不均匀，均匀的视差回归或分布匹配会将教师误差直接传递给学生网络；同时，不同区域需要不同类型的立体推理——高频边界和细薄结构需要细节保持监督，低频或无纹理区域则需要平滑性、平面一致性和长程上下文线索。单一的全局蒸馏目标无法显式应对这些异构需求。
二、研究内容与核心结论
针对上述问题，研究人员提出BRD-Stereo，一种双边可靠性蒸馏框架，用于从立体基础模型学习轻量级零样本立体匹配器。该方法不再盲目复制教师视差，而是显式估计教师监督的空间可靠性，并将不同形式的教师知识与轻量级学生网络的双边结构对齐。学生网络采用BANet风格架构，其中细节分支聚焦高频视差不连续和精细结构，平滑分支建模低纹理、局部平面和低频区域，为区域感知蒸馏提供了天然载体：来自教师的可靠边界和梯度线索分配给细节分支，可靠的低频和平面一致性线索分配给平滑分支。
在Scene Flow、KITTI 2012、KITTI 2015、ETH3D和Middlebury上的实验表明，与普通伪标签L1蒸馏相比，完整BRD-BANet将KITTI 2012 D1从3.72%降至3.18%，KITTI 2015 D1从4.53%降至4.02%，ETH3D Bad-1.0从5.55%降至4.28%，Middlebury Bad-2.0从9.72%降至8.35%，相对提升分别为14.5%、11.3%、22.9%和14.1%。区域特定分析显示，完整BRD-BANet在KITTI 2015验证子集上将边界EPE降至1.18、遮挡D1降至7.3%、弱纹理EPE降至0.86、大视差EPE降至1.12，相对普通教师L1蒸馏分别提升16.9%、24.7%、18.1%和12.5%。最终学生网络仅含5.84M参数，在RTX 4090上以4.9ms运行，保持了BANet量级的推理效率。
三、主要技术方法
研究人员采用三阶段训练流程。第一阶段，学生网络在35,454对带标注的Scene Flow合成数据上以视差回归损失进行预训练。第二阶段，冻结的FoundationStereo教师网络为174,437对无标注的DrivingStereo真实道路图像生成伪视差、有效性掩码、可靠性图和细节/平滑掩码，学生网络以监督损失和可靠性感知双边蒸馏损失联合训练。第三阶段，在可靠硬区域（视差边界、遮挡、弱纹理、大视差区域以及教师—学生差异大但教师可靠性高的像素）上进行挖掘和微调。教师网络推理、可靠性估计、伪标签生成和所有蒸馏损失在部署时全部移除。学生网络采用BRD-BANet架构，保留BANet-2D的细节/平滑双边分解，将图像特征空间注意力替换为受教师派生细节/平滑目标监督的分数—体积路由器，平滑通路增加轻量级上下文块，并以学习残差融合替代直接注意力加权分支求和。可靠性估计整合左右一致性、教师置信度、图像视差边缘一致性、局部规则性和遮挡感知有效性等多重线索。蒸馏损失包括可靠性门控视差损失、细节区域梯度蒸馏、低频一致性、局部平面一致性以及切片分数分布蒸馏。
四、研究结果
4.1 复现与骨干网络验证
研究人员复现了BANet-2D基线，在Scene Flow上获得0.58 EPE和2.55% Bad-3.0，与原始报告差异极小。改进的BANet骨干将Scene Flow EPE降至0.55、Bad-3.0降至2.38%，KITTI 2012 3-all从1.84%降至1.75%，KITTI 2015 D1-all从1.88%降至1.79%，MACs从36.5G增至39.8G，延迟从4.1ms增至4.5ms。
4.2 零样本跨域评估
在KITTI 2012、KITTI 2015、ETH3D和Middlebury四个目标基准上，架构改进独立贡献了小幅精度提升；普通FoundationStereo视差蒸馏进一步降低误差；可靠性门控蒸馏达到4.30%（KITTI 2015）、4.92%（ETH3D）和9.18%（Middlebury）；完整BRD-BANet达到4.02%、4.28%和8.35%。与最强通用特征蒸馏基线ReviewKD相比，完整BRD在KITTI 2015 D1、ETH3D Bad-1.0和Middlebury Bad-2.0上分别进一步降低0.22、0.51和0.63个百分点。
4.3 区域特定分析
在KITTI 2015验证子集上，与无蒸馏的改进BANet相比，普通教师L1将边界EPE从1.62降至1.42、遮挡D1从11.8%降至9.7%、弱纹理EPE从1.25降至1.05、大视差EPE从1.46降至1.28；完整BRD-BANet进一步将上述指标提升至1.18、7.3%、0.86和1.12。
4.4 定性结果
在挑战性真实场景上，BRD-Stereo在细薄结构、深度不连续、遮挡和局部模糊外观区域产生更干净的目标轮廓和更空间连贯的视差，同时保持表面平滑。
4.5 可靠性分析
跨394张图像和4280万有效像素的统计显示，平均教师EPE随可靠性区间升高而单调降低，高可靠性对应低教师误差，支持可靠性门控伪标签蒸馏的有效性。
4.6 双边路由分析
在仅Scene Flow训练的学生网络上，细节通路在目标轮廓、视差不连续和细薄结构周围响应更强，平滑通路强调局部连贯表面和弱纹理区域，互补路由模式与相对BANet基线的局部误差降低一致。
4.7 消融研究
移除可靠性掩码使KITTI 2015 D1从4.02%退化至4.39%、ETH3D Bad-1.0从4.28%退化至5.30%、Middlebury Bad-2.0从8.35%退化至9.15%；移除细节分支损失使边界EPE从1.18升至1.36；移除平滑分支损失主要损害ETH3D和Middlebury性能；移除路由器预训练使所有指标退化；仅视差BRD变体性能低于完整模型，验证了切片分数分布监督的互补价值。
4.8 超参数鲁棒性
可靠性温度缩放25%时KITTI 2015 D1变化不超过0.06个百分点、ETH3D Bad-1.0不超过0.11个百分点；辅助BRD损失权重缩放50%时各指标变化有限，表明单一共享配置在四个基准上均保持稳定。
4.9 效率分析
完整BRD-BANet使用5.84M参数、42.0G MACs和4.9ms延迟，相比改进BANet核心仅增加0.12M参数、2.2G MACs和0.4ms，该开销来自分数—体积路由器及分支特定上下文/融合模块。
五、讨论与结论
BRD-Stereo在零样本基础模型与轻量级部署架构之间占据互补设计空间。与FitNet、Attention Transfer和ReviewKD等通用特征蒸馏基线相比，完整BRD-BANet在相同教师、初始化、数据和优化协议下取得一致更优性能，支持过滤不可靠区域并将边界/细节、平滑/平面和局部分数分布线索路由至匹配学生组件的价值。BRD-BANet对BANet的路由、平滑上下文推理和融合进行修改，使教师派生区域目标可直接监督两条通路。架构改进独立贡献小幅增益，而可靠性感知双边蒸馏在域偏移下贡献主导性提升。
研究人员指出，BRD-Stereo训练期间需要高容量冻结FoundationStereo教师，离线伪标签生成增加计算和存储开销，教师偏差在逃逸可靠性估计器时可能传递至学生。可靠性估计器通过固定规则组合多重线索，对透明、反光、重复或强非朗伯区域可能次优；固定带宽高斯目标传递局部分数分布结构而非校准预测不确定性。未来工作可学习可靠性函数、自适应分数目标带宽、纳入校准教师后验，并评估其他教师、紧凑骨干和更大无标注语料库上的迁移。
研究结论表明，BRD-Stereo通过空间可靠性过滤教师监督，并将互补线索分配给学生的细节和平滑聚合分支，在Scene Flow、KITTI、ETH3D和Middlebury上较普通伪标签蒸馏取得全局和区域特定精度的持续提升。最终学生网络含5.84M参数，在RTX 4090上以4.9ms运行。可靠性误差分析显示高可靠性对应低教师误差，路由可视化显示仅Scene Flow训练下即出现互补的细节与平滑特化，这些结果支持从立体基础模型向紧凑学生网络进行可靠性感知、架构对齐迁移的有效性。
