《IEEE Transactions on Sustainable Energy》：High-Precision Calibration of Binocular Camera with Super-Resolution Technology
编辑推荐：
车载立体相机的参数标定对于实现高效的视觉辅助驾驶至关重要。然而，在实际场景中，低分辨率图像往往导致特征点提取不准确，从而影响相机参数标定的精度。为解决这一问题，研究人员提出了一种基于联合去噪、去马赛克、去振铃和超分辨率网络（JDDDSN）超分辨率重建的立体相机
车载立体相机的参数标定对于实现高效的视觉辅助驾驶至关重要。然而，在实际场景中，低分辨率图像往往导致特征点提取不准确，从而影响相机参数标定的精度。为解决这一问题，研究人员提出了一种基于联合去噪、去马赛克、去振铃和超分辨率网络（JDDDSN）超分辨率重建的立体相机自标定方法。通过将图像重建为细节更丰富的高分辨率图像，提取特征点用于立体相机的外参标定。对于真实驾驶场景，重建图像在获得更清晰高分辨率图像的同时，实现了噪声和振铃伪影的减少。本研究进一步探讨了超分辨率重建网络对不同距离目标区域标定的影响。此外，还强调了超分辨率通过去除动态点并聚焦于静态区域，在提升立体相机标定精度方面的重要作用。通过一系列实验，本文验证了JDDDSN超分辨率重建网络在提高立体相机标定精度方面的有效性和实用性，展示了其在立体视觉领域的应用价值。
在自动驾驶与立体视觉领域，相机参数的精确标定是感知环境、实现避障与路径规划的基础。然而，实际驾驶场景中，光照条件、噪声等因素常导致图像质量下降，使特征点提取精度降低，进而影响双目相机标定的准确性。传统标定方法依赖参考物，仅适用于离线场景，难以满足大规模生产与实时维护需求。自标定方法虽无需参考物，但动态物体干扰与低分辨率图像细节缺失仍限制其精度。为克服上述问题，研究人员提出了基于超分辨率（Super-Resolution，SR）技术的双目相机自标定方法，旨在通过提升图像分辨率来增强特征点检测的可靠性，并借助语义分割与聚类技术去除动态点干扰，从而实现高精度、鲁棒的外参标定。该文发表在《IEEE Transactions on Sustainable Energy》上，系统验证了所提方法的有效性。
研究人员开展的研究以联合去噪、去马赛克、去振铃和超分辨率网络（JDDDSN）为核心，构建了一套完整的双目相机自标定流程。首先，利用JDDDSN对原始左右图像进行超分辨率重建，获得细节更丰富的高分辨率图像；随后，从重建图像中提取特征点，并通过距离滤波与动态点去除策略（包括语义分割网络OCRNet、K-means视差聚类及多视图几何校验）优化特征点集，最终用于外参矩阵（旋转矩阵R与平移向量t）的估计。通过一系列对比实验，证明了JDDDSN在提升标定精度方面的显著优势。
本研究的关键技术方法主要包括：JDDDSN超分辨率重建网络（基于U-Net架构，集成平衡注意力机制BAM与对抗损失函数，同时实现去噪、去马赛克、去振铃与超分辨率增强）、OCRNet语义分割网络（用于识别静态物体区域，如建筑、护栏、交通标志等）、K-means聚类算法（基于视差图与像素坐标对特征点进行聚类，以弥补语义分割的欠分割问题）、多视图几何方法（通过三角测量与极线几何约束进一步剔除动态点）。训练数据来源包括公开的DIV2K数据集（800张）与自采集的700张高分辨率道路场景图像，共计1500张。
**3.1 超分辨率重建图像实验**
通过对比bicubic、SRCNN、SRGAN、VDSR等经典算法，在Set5、Set14、BSD100、Urban100四个基准数据集上，JDDDSN在PSNR与SSIM指标上均取得最优或次优表现，尤其在Set14与Urban100数据集上领先。在真实驾驶场景中，JDDDSN有效抑制了夜间隧道等低光环境下的噪声与振铃伪影，使道路标线与车辆轮廓细节更清晰，为后续特征点提取提供了更稳定的输入。
**3.2 基于超分辨率重建的距离标定实验**
采用SIFT特征提取与FLANN匹配，在60米范围内，JDDDSN重建图像的平均标定误差（基于极线误差）从原始图像的0.1404像素降至0.1273像素，优于VDSR的0.1375像素。在100米范围内，按10米间隔分段统计，各距离段误差均显著降低，例如90-100米段误差从0.5738像素降至0.2038像素，表明超分辨率重建能有效提升远距离特征点的定位精度，从而改善外参标定质量。
**3.3 基于超分辨率重建的静态物体区域标定实验**
通过OCRNet语义分割保留静态物体掩膜，JDDDSN重建图像的平均标定误差从0.1237像素降至0.0992像素，优于VDSR的0.1019像素；在场景4中误差从0.1108像素降至0.0427像素。进一步引入K-means聚类与多视图几何去除动态点后，原始图像误差为0.1117像素，VDSR与JDDDSN重建图像误差分别降至0.0934像素与0.0874像素，且特征点误匹配数量显著减少。这表明，结合超分辨率重建与动态点过滤策略，能有效优化静态区域的标定结果，提升模型的鲁棒性。
**结论**
本文提出了一种基于超分辨率重建的双目相机自标定方法，利用JDDDSN超分辨率技术增强图像分辨率并保留丰富细节，从重建图像中提取特征点用于双目相机外参标定。超分辨率重建图像实验表明，JDDDSN超分辨率重建有效减少了真实驾驶场景图像中的噪声与振铃伪影，获得更清晰的高分辨率图像。基于超分辨率重建的距离标定实验证明，在道路场景中对不同距离的目标区域进行标定时，使用JDDDSN超分辨率重建图像显著降低了标定误差。基于超分辨率重建的静态物体区域标定实验表明，通过语义分割过滤动态区域，并利用聚类与几何方法去除动态点，进一步优化了双目相机标定过程中的静态区域。借助JDDDSN超分辨率重建，特征点检测精度得到提升，从而实现了更精确的双目相机参数估计，并降低了标定误差。这一系列实验验证了使用JDDDSN超分辨率重建提高标定精度的有效性与实用性，突显了其在立体视觉领域的潜在应用价值。
