基于IMU-视觉融合的无人机光电吊舱变焦相机在线标定方法

《Drones》：An Online Calibration Method for UAV Electro-Optical Pod Zoom Cameras Based on IMU-Vision Fusion Weiming Zhu, Zhangsong Shi, Huihui Xu, Qingping Hu, Wenjian Ying and Fan Gui

　　

针对无人机光电吊舱连续变焦过程中内参非线性变化引起的标定难题，本文提出了一种基于IMU-视觉融合的在线标定方法。传统的离线标定无法适应动态场景，而现有的自标定方法存在收敛慢、鲁棒性不足等问题。该方法旨在实现变焦过程中相机内参的实时精确估计。具体地，研究人员首先构建了一个统一的状态估计框架，将相机的内参和外参以及场景特征点的三维位置编码为高维状态向量，然后基于惯性测量单元（IMU）数据建立相机运动模型，结合针孔相机模型和二阶径向畸变模型构建视觉观测模型，建立从三维特征点到二维像素坐标的非线性映射，并采用改进的ORB算法进行特征提取和LK光流法实现高精度的跨帧特征匹配，以增强视觉观测的稳定性。最重要的是，研究人员设计了一种基于扩展卡尔曼滤波（EKF）预测-更新迭代机制的紧耦合融合策略，实时融合IMU高频运动约束和视觉几何约束，以抑制焦距变化引起的参数漂移。最后，递归求解状态向量，完成内参的在线动态估计。蒙特卡洛仿真实验和真实无人机飞行实验证实了该方法具有较高的估计精度和较强的环境适应性，能够满足无人机在动态场景下的高精度标定需求，为精确目标定位提供了可靠的技术支持。

随着低空经济与智能感知技术的快速发展，无人机（UAV）在应急救援、电力巡检、精准农业等关键领域获得广泛部署，其快速目标感知与高精度定位能力成为任务执行效率的核心决定因素。光电吊舱作为无人机感知系统的关键组件，配备连续变焦镜头虽能兼顾广域搜索与细粒度目标识别，但变焦过程中镜头元件的相对运动因制造公差和装配误差导致相机内参（包括等效焦距、主点坐标和径向畸变系数）随焦距发生复杂非线性变化，这一非补偿参数漂移会持续累积并严重削弱视觉感知与定位算法性能。传统离线标定方法（如张正友法）假设内参恒定，无法捕获连续变焦下的非线性变化；自标定方法虽无需标定靶标，但收敛性差、鲁棒性不足；混合标定与深度学习方法则面临数据获取成本高、实时适应性弱等问题。为突破上述瓶颈，由Weiming Zhu、Zhangsong Shi、Huihui Xu、Qingping Hu、Wenjian Ying和Fan Gui组成的研究团队提出了一种基于IMU-视觉融合的无人机光电吊舱变焦相机在线标定方法，旨在实现连续变焦过程中内参的实时高精度估计，并系统性验证其对目标地理定位精度的提升效果。该研究发表于《Drones》。

研究人员开展的研究核心是构建一个能够在线实时联合估计相机内参、外参与场景结构的框架。通过将内参向量、位置、速度、姿态四元数及场景特征点三维坐标编码为高维状态向量，利用扩展卡尔曼滤波（EKF）实现递归求解，并设计紧耦合融合策略，将IMU高频运动约束与视觉几何约束实时融合，以抑制焦距变化导致的参数漂移。主要关键技术方法包括：（1）统一状态估计框架：将相机内参（等效焦距f_x、f_y，主点c_x、c_y，径向畸变系数k₁、k₂）、外参（位置p、速度v、姿态四元数q）及N个场景特征点三维坐标z联合编码为状态向量，基于IMU数据构建平移运动模型（Wiener速度过程）与旋转运动模型（四元数指数映射），并基于针孔相机与二阶径向畸变模型建立视觉观测模型，将3D特征点投影至2D像素坐标。（2）改进的特征提取与跟踪策略：采用自适应阈值网格化ORB特征提取（将图像划分为30×30像素网格，根据纹理密度计算自适应阈值T），使特征点均匀分布；结合金字塔LK光流法进行跨帧跟踪，并通过动态特征点管理策略（补充提取、无效剔除、稳定筛选）增强变焦导致的视场变化下的鲁棒性，每帧维持80–120个稳定特征点。（3）EKF紧耦合求解：在预测阶段利用IMU驱动状态转移并线性化得到雅可比矩阵A_k和先验协方差P_k|k-1；在更新阶段利用视觉观测残差计算卡尔曼增益K_k，递归输出内参、外参与场景结构的联合估计。该方法需要IMU预标定（厂内标定与现场RTK-GNSS标定，陀螺仪系统误差<0.005 rad/s），且在实物实验中采用固定翼无人机（搭载30×连续变焦可见光相机，4.3 mm–129 mm），实验场地为开阔户外区域，放置7个人工标记点（T1–T7）并用RTK-GNSS测量其世界坐标作为真值，飞行轨迹为螺旋爬升至100 m后以T1为中心半径100 m的圆形航线，相机从广角端（4.3 mm）到长焦端（129 mm）连续变焦，云台伺服系统确保标记1锁定于图像中央区域。

研究结果部分包含两个实验：
3.1 仿真实验（Simulation Experiments）
在Python 3.8环境中构建虚拟IMU-视觉集成平台，生成1000个随机3D空间点（X,Y∈[?50,50] m，Z∈[10,70] m）模拟户外场景，设置相机真值内参（f_x=f_y=650像素，c_x=960，c_y=540，k₁=?0.2635，k₂=1.7435），IMU采样率100 Hz，视频帧率30 FPS、分辨率1920×1080，注入零均值高斯白噪声（角速度σ_ω=0.001 rad/s，加速度σ_a=0.01 m²/s，像素σ_p=0.5 pixel）。EKF随机初始化内参误差±5%以内、位置误差≤5 m、速度误差≤0.5 m/s、姿态误差≤0.05 rad。结果表明：所有内参估计曲线在0–50帧内快速收敛，稳态时f_x误差0.32像素、f_y误差0.28像素、c_x误差0.45像素、c_y误差0.37像素、k₁误差0.0015、k₂误差0.023；重投影均方根误差（RMSE）呈现“快速下降（前25帧从25.6像素降至3.2像素）—慢速衰减（25–100帧降至0.1像素）—稳态（100帧后约0.08像素±0.01像素）”的三阶段特征，证明算法收敛快、精度高、抗噪性强。
3.2 无人机飞行实验（UAV Flight Experiments）
采用固定翼无人机搭载光电吊舱（含不可制冷长波红外热像仪、高清可见光相机、激光测距仪等），可见光相机支持0.4 μm~0.9 μm波段、30×连续变焦（4.3 mm–129 mm）、视场角2.3°~63.7°。实验前在实验室内用张正友法对7个常用焦距（5 mm、20 mm、40 mm、55 mm、70 mm、93 mm、120 mm）离线预标定，通过三次样条插值构建内参随焦距的经验映射作为EKF初始值。实验中与离线张正友标定和基于运动恢复结构（SfM）的自标定方法对比。结果：对全部7个标记点（T1–T7），所提算法的重投影RMSE范围为0.27–0.35像素，地理定位误差范围为0.34–0.42 m，明显优于SfM方法（误差大且波动显著），接近离线张正友法（平均误差0.28 m但无法动态应用）。进一步聚焦标记T1（飞行全程被云台锁定于图像中心），所提算法在整个焦距范围（4.3 mm–129 mm）的重投影RMSE保持0.2–0.35像素，波动小；目标定位点高度集中，经纬度偏差控制在±1.5×10^?5度以内，平均定位误差0.35 m，最大不超过0.52 m，而SfM方法平均误差1.87 m、最大2.63 m。结果表明该紧耦合融合策略有效抑制了变焦过程中的参数漂移。

在总结讨论部分，研究人员指出该方法具有四大核心优势：实时动态适应性（连续变焦中实时估计并更新内参）、方便野外部署（仅需简单平面目标初始化，无需精确定标物）、环境鲁棒性强（IMU与视觉紧耦合抑制低纹理、光照变化干扰）、全焦距范围适应性（精确建模非线性变化，覆盖广角到长焦）。同时指出当前限制：（1）无纹理地形（水面、雪地）导致特征点不足，未来可融合激光测距数据补充空间约束；（2）无人机激进机动超出匀速/慢加速假设，可引入自适应运动模型实时调整EKF过程噪声协方差；（3）极低光照条件下ORB与LK光流跟踪失败，可结合红外图像特征实现多光谱融合。研究结论部分原文翻译如下：针对无人机光电吊舱变焦相机内参随焦距非线性变化导致目标定位精度下降的问题，本文提出了一种基于IMU-视觉融合的吊舱在线标定方法。通过构建包含相机内参、外参及场景特征点三维位置的高维状态向量，利用IMU提供的运动约束建立状态转移模型，并结合视觉观测模型构造非线性状态空间，采用扩展卡尔曼滤波（EKF）实现多参数联合递归估计。蒙特卡洛仿真实验与真实无人机飞行实验均验证了该算法的有效性与鲁棒性。该方法从根本上解决了传统标定技术在变焦场景中的局限，为动态无人机任务中的高精度成像提供了核心技术支撑。