《Sensors》：MMBM-Driven and IMU-Assisted Adaptive Deblurring for Periodic Rotational-Scanning Panoramic Imaging Systems
编辑推荐：
周期旋转扫描全景成像系统（PRS imaging system）可通过旋转扫描获取大规模、连续且高分辨率的全景图像，但曝光期间非理想相机运动引入的空间变化运动模糊会降低图像质量并影响后续视觉解译。研究人员面向自主研发的PRS设备提出了基于惯性测量单元（IMU）
周期旋转扫描全景成像系统（PRS imaging system）可通过旋转扫描获取大规模、连续且高分辨率的全景图像，但曝光期间非理想相机运动引入的空间变化运动模糊会降低图像质量并影响后续视觉解译。研究人员面向自主研发的PRS设备提出了基于惯性测量单元（IMU）辅助与运动模糊度量（MMBM）的自适应图像去模糊框架。首先，利用曝光期间采集的IMU数据计算MMBM以表征当前图像的运动模糊程度，据此自适应确定Richardson-Lucy（R-L）反卷积算法的迭代次数，避免不必要的复原并减少过度复原导致的伪影。其次，由相机运动轨迹自适应确定点扩散函数（PSF）尺寸，构建对应PSF以匹配不同抖动强度。最后，引入自适应图像分区策略以处理相机旋转导致的空间非均匀模糊。基于自主研发的双光谱PRS成像系统采集的真实图像实验表明，该方法具有稳定的复原性能，能够保持图像自然度、抑制非自然畸变并降低计算成本。
周期旋转扫描全景成像系统（PRS imaging system）通过相机平台的周期性运动实现大规模、连续且高分辨率的场景获取，在环境感知与目标监测等任务中具有重要价值。其成像质量高度依赖于相机平台的稳定性及曝光期间相机姿态的一致性。然而实际运行中，PRS设备常部署于复杂环境，易受平台振动、外部扰动及环境条件变化的影响，导致曝光期间相机平台产生非期望抖动，进而形成运动模糊，降低图像锐度并使精细细节难以辨识，同时影响图像拼接与目标识别等后续任务。
现有图像去模糊方法主要分为盲去模糊、非盲去模糊和基于深度学习的图像去模糊三类。盲去模糊旨在模糊核未知时同时估计潜在清晰图像与模糊核，是计算机视觉中的经典不适定问题。传统盲去模糊方法通常基于概率建模或最大后验概率（MAP）框架，引入图像先验约束解空间并联合估计潜在清晰图像和模糊核。早期研究利用自然图像统计特性构建先验模型，如Fergus等将自然图像梯度统计引入单幅图像相机抖动去模糊，Levin等系统分析了稀疏图像梯度先验在盲去模糊中的作用，Krishnan和Fergus采用超拉普拉斯先验建模自然图像梯度的重尾分布以提高反卷积效率与复原质量。Xu等提出基于L0正则化的边缘增强方法，Pan等基于清晰图像暗通道更稀疏的观察引入暗通道先验，Yan等提出结合暗通道与亮通道信息的极端通道先验以改善不同场景下的模糊核估计。这些方法虽具有良好理论可解释性，但复原性能依赖于先验假设与实际退化过程的一致性，当运动模糊由相机平台抖动等非理想运动引起时，仅从图像内容估计模糊核易受纹理、噪声和优化初值影响，限制了复原稳定性，且计算成本较高。
非盲去模糊通常假设模糊核已知并通过反卷积恢复清晰图像，典型方法包括Richardson-Lucy迭代反卷积算法（R-L算法）、维纳滤波和Tikhonov正则化等。R-L算法因形式简单、物理意义明确且易于实现而被广泛应用于图像复原任务，其反卷积迭代次数是影响复原性能的关键参数：迭代次数不足则细节无法充分恢复，过多则噪声放大并引入振铃伪影。因此，在模糊核已知或可估计时，基于图像模糊程度自适应确定合适反卷积迭代策略，对提升去模糊性能与稳定性至关重要。
针对相机平台运动导致的图像模糊，外部传感器可为模糊核估计提供直接运动信息。惯性测量单元（IMU）可记录图像曝光期间的角速度、加速度等运动状态，为重建相机运动轨迹和估计运动模糊核提供物理基础。Joshi等率先使用六自由度惯性传感器进行图像去模糊，?indelá?和?roubek将该思想扩展至智能手机平台，Rong等利用IMU运动数据建立不同图像块模糊核之间的非线性变换关系。与仅依赖图像内容的盲去模糊方法相比，IMU辅助去模糊更适用于设备平台抖动或扫描运动导致的运动模糊，但现有传感器辅助去模糊方法主要关注模糊核估计，对后续反卷积过程中参数自适应调整关注不足，固定迭代参数难以在不同抖动强度和模糊度下平衡充分复原与噪声抑制。
近年来，基于深度学习的图像去模糊方法在自然图像复原中取得显著进展，如Schuler等将深度学习架构引入盲图像去模糊流程，Xu等提出基于深度卷积神经网络（CNN）的图像反卷积方法，Nah等提出用于动态场景去模糊的多尺度卷积神经网络，Kupyn等提出DeblurGAN应用条件生成对抗网络进行盲去模糊，Tao等提出的尺度循环网络以及Zamir等提出的MPRNet和Restormer进一步改进了复杂模糊场景下的图像复原。然而，深度学习方法通常依赖大规模训练数据和高计算资源，泛化能力受训练数据分布强烈影响。对于自主研发的PRS设备，其成像系统具有明确的物理运动机制和实际工程约束，因此基于传感器运动信息和经典复原模型开发轻量、可解释且自适应的去模糊方法仍具重要价值。
研究人员针对上述问题，采用Mutlu等提出的运动模糊度量（MMBM），将其引入PRS设备的模糊图像复原任务，提出了由IMU辅助和MMBM驱动的自适应去模糊框架。该方法首先获取图像曝光时间内的IMU采样，根据相机运动轨迹估计相应模糊核；进而由IMU采样计算MMBM以表征当前图像的运动模糊程度，并据此指导R-L反卷积过程中迭代次数的自适应调整。
研究人员开展了以下主要工作：开发了针对自主研发的PRS设备中平台抖动和环境扰动导致运动模糊的自适应去模糊框架，基于IMU辅助的模糊核估计并由MMBM驱动，将惯性测量引入模糊核构建过程，利用评估的运动模糊度自适应调整后续复原过程；提出了基于IMU辅助模糊核估计的自适应模糊核尺寸确定策略，根据IMU数据估计的运动幅度动态调整模糊核尺寸，使构建的模糊核更好匹配不同平台抖动强度下的运动模糊尺度；提出了MMBM驱动的自适应R-L反卷积策略，由IMU采样计算MMBM表征运动模糊度，据此自适应确定R-L反卷积算法迭代次数，以在图像细节恢复和噪声及振铃伪影抑制间取得更好平衡。
该方法涉及的主要关键技术包括：基于IMU数据的相机运动投影模型与PSF估计，包括速度矢量建模方法、高斯分布PSF模型；MMBM计算及其驱动的自适应迭代策略，包括基于NIQE和JNBM联合指标的最优迭代次数确定、Smoothstep模型拟合及Isolation Forest异常检测；自适应PSF尺寸确定，包括基于运动轨迹最小包围盒（MBB）的尺寸计算；自适应图像分区策略，包括基于块大小上限约束和边界块尺寸逻辑的改进网格分解框架；以及相机内参标定和相机-IMU外参时空一致性标定。
研究背景与理论方面，研究人员首先建立了基于针孔相机模型的成像几何关系，描述了三维空间点到二维图像像素的映射。在曝光时间内，相机可能发生六自由度空间运动，包括沿X、Y、Z轴的平移以及绕这些轴的旋转（横滚、俯仰、偏航）。基于速度矢量的建模方法，通过微分投影方程建立了图像点速度矢量与相机绕三轴旋转角速度之间的关系。考虑到相机旋转是运动模糊的主导因素且远场成像条件下平移贡献可忽略，研究基于相机旋转运动模型忽略平移分量。利用曝光期间采集的高频惯性数据，将空间旋转运动映射为图像平面上的连续运动轨迹，据此构建具有明确物理意义的PSF模型。为降低惯性传感器测量噪声对轨迹重建的影响，假设图像平面上投影点服从空间变量的高斯分布，引入均值和方差参数构建考虑测量不确定性的PSF模型。
自适应去模糊框架方面，针对旋转运动导致的空间非均匀模糊显著问题（尤其是绕光轴横滚运动），研究提出了包含三项自适应策略的框架：自适应PSF尺寸、自适应图像分区和自适应迭代次数。
自适应迭代次数选择方面，引入MMBM预测反卷积收敛深度。该度量的核心物理逻辑是利用同步采集的三轴陀螺仪角速度数据重建曝光期间相机的旋转动力学，将复杂三维刚体旋转映射为二维图像平面上的瞬时光流场，量化相机自运动导致的平均模糊程度。为表征PRS成像中空间非均匀模糊的物理特性，将MMBM的连续空间积分重构为基于网格的离散计算模型。通过参数扫描实验，在迭代次数1至40范围内进行R-L反卷积，采用无参考图像质量评估指标NIQE（图像自然度和伪影抑制，值越小越好）和JNBM（边缘恢复和锐度，值越大越好），经min-max归一化后等权重构建联合评价指标，确定最优迭代次数。利用Smoothstep模型拟合MMBM与最优迭代次数的关系，并引入Isolation Forest异常检测算法去除离群噪声点。当MMBM低于给定阈值时图像初始锐度足够，迭代次数设为0；高于上限时强制截断至系统定义最大值40。
自适应PSF尺寸确定方面，基于曝光期间实时IMU采样，利用式(5)和式(6)计算特定像素的运动轨迹，通过轨迹点集的最小包围盒（MBB）确定PSF空间支撑域初始范围。为补偿IMU采样噪声并提高鲁棒性，将MBB各方向扩展3像素作为安全裕量，最终将PSF尺寸归一化为奇数维正方形以满足反卷积中心对称和像素对齐要求。
自适应图像分区策略方面，基于传统图像网格分解框架改进Arslan等提出的自适应分区策略，主要改进包括：引入块数量上限约束以平衡计算成本与去模糊精度；优化边界块尺寸逻辑以保留图像底部和右侧边缘的残差像素，确保全局空间覆盖并避免常规裁剪导致的信息损失。基本块大小为m，块间空间重叠区域为n，右侧和底部边缘残差像素段为res。根据Krishnan等建议，图像子块最小尺寸需满足：大于最大PSF支撑域以满足反卷积物理要求，且至少为最大PSF支撑域大小的两倍以进行有效边缘锥化并抑制边界伪影。
实验平台与准备工作方面，研究使用自主开发的双光谱PRS成像系统，核心载荷集成海康威视MV-CB060/120-10UM相机和睿创微纳XM640非制冷红外焦平面探测器，仅考虑可见光通道数据处理。系统通过高精度旋转电机实现全向水平扫描，配备YINS泛源YIN680双天线RTK惯性组合导航系统，以200 Hz采样频率实时记录曝光期间高频三轴角速度和加速度数据。由于物理安装空间和机械结构设计限制，IMU坐标系与相机坐标系存在空间姿态偏移，需通过外参标定实现空间对齐。同时，利用海康威视相机和YIN680组合导航模块提供的硬件时间戳设计专用时间对齐机制，确保图像快门时间与惯性测量数据的高精度同步。
准备工作包括：使用Kalibr多传感器标定工具箱进行相机内参标定，通过AprilGrid标定靶多视角图像同时估计相机内参矩阵（焦距和主点坐标）及镜头畸变系数；进行相机-IMU相对姿态时空一致性标定，通过捕捉AprilGrid标定靶并执行充分六自由度激励运动，联合拟合和优化图像序列估计的运动轨迹与原始IMU测量，估计相机与IMU之间的空间变换矩阵和时间偏移，用于补偿时钟差异并确保提取的IMU样本对应各图像曝光区间。
实验结果方面，所有实验在Windows 11计算平台上进行，配备AMD R7-H255处理器、32 GB内存和NVIDIA RTX 5060 GPU，但除非特别说明所有去模糊算法均在CPU运行。使用自建PRS全景成像系统采集的21幅不同模糊度图像作为测试数据，选取MANIQA、NIQE和处理时间作为主要评价指标。
对所提方法的去模糊性能分析表明：MMBM值越大表明运动模糊效应越显著，据此自适应确定是否需要去模糊及反卷积迭代次数。对于MMBM=155.62的轻度模糊图像，仅需一次反卷积迭代，处理时间1.953 s，无振铃伪影、噪声放大等视觉退化；对于MMBM=467.32的中度模糊图像，能有效恢复精细图像结构，退化文字清晰可辨，平滑区域无明显噪声放大或伪影；对于MMBM=678.28的重度模糊图像，能较大程度恢复结构信息和局部细节，有效减少原始图像中的模糊拖影，但受R-L反卷积算法固有限制，边缘伪影逐渐明显。
与现有方法的比较选取了Chen等、Bai等、Cho等、Hu等、Whyte等、Wen等和Ayan等七种代表性方法。视觉比较显示，所提方法在人工建筑场景中能更有效恢复局部纹理信息，砖墙区域纹理结构更清晰，显著抑制运动模糊导致的拖影，且未引入振铃伪影、噪声放大或局部过增强；在自然植被场景中稳定性更优，能恢复更可辨识的结构信息，无边缘再模糊现象，保持良好整体结构锐度。定量比较中，NIQE指标在多数测试图像上获得较低值，表明复原结果更符合自然图像统计特性；MANIQA指标未总是最优，可能因为不同无参考质量评估指标关注图像质量不同方面，所提方法不单纯追求纹理边缘强锐化，而是使去模糊强度与实际运动模糊度匹配。平均处理时间远低于其他方法，计算效率优势明显。
讨论与结论方面，所提方法在相机运动模糊复原中展现出良好有效性和计算效率，但存在适用条件和局限性：依赖曝光期间IMU样本的采集精度，包括图像曝光时间与IMU采样时间的高精度同步、IMU坐标系与相机坐标系外参关系的准确标定；主要针对性针对相机运动导致的运动模糊，对镜头离焦导致的散焦模糊或场景中前景物体独立运动导致的局部运动模糊适用性有限。
研究结论指出，所提方法基于IMU辅助并由MMBM驱动，利用曝光期间采集的IMU样本快速计算MMBM，自适应确定图像是否需要去模糊及R-L反卷积算法的迭代次数，避免低模糊图像的不必要复原，减少计算资源消耗，缓解过度复原引入的伪影和噪声放大。实验结果表明，该方法在不同程度运动模糊图像上实现了稳定的复原性能，在保持图像自然度、抑制非自然畸变和降低计算成本方面表现良好。方法性能依赖于IMU数据的准确性和同步精度，主要针对性针对相机运动导致的运动模糊。未来工作将进一步融合图像内容先验、深度信息或局部运动估计方法，以提升方法在复杂动态场景和空间变化模糊条件下的适用性和鲁棒性。
