《Applied Sciences》：A Stepwise Self-Calibration Method for Binocular Cameras in Pin Shaft Production Lines Based on the Kruppa Equation
编辑推荐：
双目相机标定（binocular camera calibration）是三维视觉技术（3D vision technology）的核心基础，其性能直接决定后续任务的精度。Zhang’s棋盘格法（Zhang’s checkerboard method）依赖标定
双目相机标定（binocular camera calibration）是三维视觉技术（3D vision technology）的核心基础，其性能直接决定后续任务的精度。Zhang’s棋盘格法（Zhang’s checkerboard method）依赖标定靶标且场景适应性差，而传统Kruppa自标定（Kruppa self-calibration）易出现参数发散、精度低和收敛慢。为解决这些问题，研究人员提出一种基于改进Kruppa方程（improved Kruppa equation）的无标定板分步自标定方法（boardless stepwise self-calibration method）。该方法引入：（1）分步解耦优化策略（stepwise decoupled optimization strategy），在内参和畸变参数之间交替优化，并结合SIFT（尺度不变特征变换）+双向FLANN（快速近似最近邻）+RANSAC（随机抽样一致性）+Census特征流程；（2）多约束正则化框架（multi-constraint regularization framework），施加焦距一致性、主点边界和畸变惩罚；（3）基于熵的特征覆盖准则（entropy-based feature-coverage criterion）与继承式批量调优（inheritance-based batch tuning），用于流式生产线图像。在实验室模拟销轴生产线的800对双目图像上的实验表明，所提方法平均重投影误差（average reprojection error）为0.52 px，较传统Kruppa方法降低83.6%，接近Zhang’s标定（Zhang’s calibration）。分步求解器每批在7.4次内迭代（inner iterations）内收敛，而Kruppa基线为23.31次。在端到端销轴长度测量任务中，平均绝对误差（mean absolute error, MAE）为3.01 mm，与Zhang’s标定相当，且远在±5 mm工业容差（industrial tolerance）内；即使在强振动模糊干扰（strong vibration-blur interference）下，误差仍为3.32 mm。
研究背景与问题：相机标定的核心是建立二维图像到三维场景的映射关系，求解相机内参矩阵、位姿参数和畸变参数等信息。传统标定方法需要人工制作形状和尺寸严格受限的标定物，通过标定物点坐标与图像点之间的约束关系求解参数，精度高、可靠性强，但依赖标定板，应用环境受限。销轴自动化生产线中，双目视觉系统因成本低且能准确获取三维信息，被广泛用于检测、装配引导和质量评价；然而生产线存在振动、油污和动态工件干扰，标定板难以应用，放置标定板可能打断生产流程，机械振动还会导致相机内参和外参漂移，需要周期重标定。真实双目图像常存在严重镜头畸变、光照不均和特征点稀疏，进一步增加标定难度。Zhang’s平面标定法通过多姿态棋盘格图像和单应矩阵分解求解内外参，但依赖高精度标定板与静态成像条件，不适合动态销轴生产线。Hartley提出的Kruppa方程自标定方法可从基础矩阵奇异值约束恢复内参，无需已知三维结构；但传统Kruppa方法对图像噪声和特征匹配误差极敏感，内参、畸变和外参之间严重耦合，在强畸变工业图像中易优化发散或精度低。近期校正单应优化、混合代价函数融合和事件相机标定等方法仍有局限，深度学习端到端标定依赖大量标注数据且迁移到低纹理强畸变工业场景时存在域偏移；自监督方法多面向视觉里程计或深度估计，参数精度不足以支撑工业尺寸测量。工业图像近距拍摄销轴会引入明显径向和切向畸变，常规多项式模型难以充分建模；工件反射和油污带来严重匹配噪声与外点，对鲁棒特征约束提出更高要求。针对上述空白，研究人员提出基于改进Kruppa方程的双目相机分步自标定方法，仅依赖自然生产线图像，引入多约束正则化和分步解耦优化以抑制噪声和畸变影响。
关键技术与样本来源（不超过250字）：实验采用第一代ZED双目工业相机，单目分辨率2208×1242、15 fps，焦距约2.8 mm，基线120 mm，顶部安装，工作距离435 mm，视场约690 mm×390 mm；自然室内光、无补光，关闭自动曝光和白平衡，左右相机硬件触发同步。样本来源为实验室模拟销轴生产线：800对双目图像经运动模糊、失焦和有效SIFT匹配少于14对等过滤后，保留约700对高质量图像；随机分为560对标定子集和140对独立测试子集；另采集20组7×5、方格40 mm棋盘格图像用于Zhang’s标定参考。关键技术包括SIFT+双向FLANN+RANSAC+Census匹配验证、先固定畸变为零求内参再冻结内参求畸变的分步解耦、含Kruppa残差/焦距比约束/主点约束/极线残差的多约束残差、畸变阶段L2正则（λ=0.1）、TRF-LM（带信赖域反射的Levenberg–Marquardt）最小二乘、8×6网格熵覆盖评价和继承式批量调优。
3.1 实验结果与分析：通过实验室模拟销轴生产线数据比较Zhang’s标定、传统Kruppa、DroidCalib和所提方法，得出所提方法内参相对偏差控制在0.9%以内，而传统Kruppa焦距偏差超过14%；所提方法在所有畸变系数上绝对误差更小；平均重投影误差为0.52 px，优于传统Kruppa的3.18 px和DroidCalib的0.89 px，略高于Zhang’s的0.25 px。收敛方面，所提分步求解器每批内迭代7.4次、总优化时间约2.15 s，传统Kruppa需23.31次、约9.56 s，内迭代减少68%、优化时间减少78%；继承式外批精化在17批后终止，平均极线误差由16.74 px降至0.81 px，传统Kruppa仅降至2.34 px后平台化。焦距由初始1100像素收敛至约1370像素，径向畸变系数收敛至稳定值；传统Kruppa对应焦距漂移至1162像素，轨迹更慢且非单调。校正后线直线度RMSE为0.97 px，接近Zhang’s的0.92 px；平均极线误差0.81 px接近Zhang’s的0.65 px，优于传统Kruppa的2.34 px和DroidCalib的1.12 px；极线误差降低95.2%，RMS极线误差由40.19 px降至2.92 px。端到端40 mm、60 mm、80 mm销轴共250次独立测量中，所提方法MAE为3.01 mm、标准差1.90 mm，与Zhang’s的2.98 mm、1.83 mm接近；传统Kruppa为3.82 mm、最大6.02 mm，DroidCalib为3.25 mm，所提方法测量误差处于±5 mm工业容差内。
3.2 消融实验：通过设置传统Kruppa基线、基线+熵特征筛选、基线+Census过滤、完整所提方法四组对比，得出熵特征筛选可减少每次迭代所需图像数并轻微抑制重投影误差；多约束模块通过焦距一致性先验约束内参解空间，显著降低重投影误差；Census匹配过滤进一步消除误匹配，降低均值和最大重投影误差；三者组合时均值和最大重投影误差最小，说明熵筛选、多约束和Census过滤对工业无标定板双目标定具有互补增益。
3.3 模拟工业干扰下的鲁棒性分析：通过OpenCV可编程图像退化模拟机械振动模糊和表面油污遮挡，振动采用9、21、35像素线性运动模糊核对应低、中、高强度，油污采用随机半透明灰斑（低强度3个、最大半径20像素；中强度8个、45像素；高强度15个、80像素），并以峰值信噪比（PSNR）校准模拟退化程度。结果表明，原始未干扰数据每次迭代8.63对图像、17次迭代收敛，平均和最大重投影误差分别为0.52 px和0.79 px；振动模糊下有效图像对由9.5增至30，中高振动下13次迭代收敛，平均重投影误差由0.55升至0.73 px，最大达1.51 px；油污遮挡下每次迭代有效图像约8.11至9.27对，收敛迭代略降，平均重投影误差在0.56至0.62 px波动，最大低于1.13 px。最严重高振动干扰下平均测量误差仍为3.32 mm、最大4.98 mm，处于±5 mm工业容差内，说明方法在模拟工业干扰下保持可靠测量性能。
讨论总结与研究结论翻译：讨论指出，所提方法优于传统Kruppa的根本原因在于有效缓解参数耦合：传统Kruppa在单一非线性系统中同时优化内参和畸变，误差会通过耦合残差传播放大；分步策略先在内参阶段假定畸变为零获得可靠基线，再固定内参求解畸变，降低各非线性子问题维度并抑制误差传播。多约束正则化将焦距一致性、主点范围限制和畸变值惩罚纳入优化，使解空间限定在硬件合理范围内，避免无约束Kruppa的参数漂移。鲁棒特征流程中，Census验证通过局部灰度比特串Hamming距离剔除通过几何RANSAC但局部纹理不一致的匹配；熵覆盖评价保证特征点空间分布而非聚集，避免病态约束方程。鲁棒性分析中，振动模糊下有效图像对增加，是因为运动模糊抑制低质量、噪声敏感特征点，熵筛选保留稳定纹理对应，使每次迭代获得更丰富约束信息并加速收敛；油污为局部半透明灰斑，未遮挡区域仍提供纹理，多约束框架可补偿局部特征损失。局限包括：依赖场景自然纹理，极低纹理环境可能无法提取特征；极端光照如金属强镜面反射或严重欠曝时Census灰度比较可靠性下降；当前假设静态或准静态相机，快速运动动态模糊可能降低精度；分步策略降低但未完全消除耦合；实验为实验室模拟环境，数字干扰不能完全复现真实制造环境的耦合干扰，且仅使用单一ZED相机模型，跨相机模型、镜头配置和分辨率的泛化仍需验证。适用场景为无法可靠部署标定板的产线（如振动机床、封闭工作单元、高通量工位）以及低纹理金属件需在线漂移修正的场合；相机重装或碰撞后建议全重初始化，正常生产由继承循环自动精化，高振动或重油污条件下应连续运行而非一次性离线标定。研究结论翻译：研究人员提出一种基于改进Kruppa方程的双目相机分步自标定方法，针对销轴生产线场景中传统方法依赖标定板以及传统Kruppa自标定参数耦合、精度低、收敛差的问题。该方法具有多约束正则化框架、结合SIFT+FLANN+RANSAC+Census特征处理的分步解耦优化策略，以及基于熵特征覆盖评价的继承式连续调优机制。800对图像实验显示平均重投影误差为0.52像素，每批7.4次内迭代和17个外精化批内收敛，优于传统Kruppa和DroidCalib，并接近Zhang’s标定；在振动和油污干扰下保持稳定性能。未来工作将探索光照不变特征匹配、动态运动模糊处理、基于IMU的多传感器融合标定以及真实运行销轴生产线的广泛现场验证。
