《Optics and Lasers in Engineering》：Physics-regularized deep learning for extrinsic recalibration of structured-light systems under degraded imaging conditions
编辑推荐：
•该框架通过物理规则约束的深度学习方法，能够在成像质量下降的情况下实现结构光系统的稳定外部标定。•多尺度注意力编码器可从模糊或截断的条纹图案中提取稳定的几何特征。•基于逆摄像机的可微重投影机制将几何一致性作为物理约束条件。•标定成功率超过80%，且具备亚像素级精度（摄像机：0.2
- •
该框架通过物理规则约束的深度学习方法，能够在成像质量下降的情况下实现结构光系统的稳定外部标定。
- •
多尺度注意力编码器可从模糊或截断的条纹图案中提取稳定的几何特征。
- •
基于逆摄像机的可微重投影机制将几何一致性作为物理约束条件。
- •
标定成功率超过80%，且具备亚像素级精度（摄像机：0.21像素；投影仪：0.43像素）。
- •
标定计算时间仅为传统迭代方法的25%以下。
引言
由于非接触式操作、高精度以及高效率的特点，结构光三维测量技术已被广泛应用于航空航天精密制造、在线质量检测、机器人视觉引导以及逆向工程等领域[1]、[2]、[3]。在传统的相机-投影仪结构光测量系统中，测量精度在很大程度上取决于相机和投影仪的内参精确标定[4]，以及定义二者相对姿态的外参标定[5]。现有方法大多遵循张氏提出的基于角点的标定范式[6]。在该框架下，投影仪通常被视作针孔成像模型下的逆摄像机[7]。结合相移轮廓测量技术[PSP][8]，通过亚像素级相位解码建立相机图像平面与投影仪图像平面之间的密集对应关系，再通过包含非线性优化的多阶段优化流程来估计标定参数[9]。
在控制良好的实验室环境中，传统标定流程能够给出准确的内参和外参估计值。但在实际应用中的许多结构光系统中，相机和投影仪的内参最初是在理想的成像条件下通过工厂标定或离线标定获得的，之后在运行过程中保持不变。而相机与投影仪的相对姿态则可能因机械振动、温度变化、重新组装、结构松动或轻微的安装偏差而随时间发生偏移[10]。这类偏移会打破相机与投影仪之间预先建立的几何关系，进而降低三维重建的精度。因此，实用的在线标定应仅更新相对外参，而将预先标定的内参和畸变系数作为固定的系统先验条件。
在包括失焦、运动模糊、环境光干扰、视野范围受限以及遮挡等非理想成像条件下，这项任务变得更加困难。这些因素会降低相机端角点定位和投影仪端相位解码的可靠性[11]、[12]，由此产生的观测误差还可能进一步影响姿态估计和非线性优化过程[13]、[14]。因此，核心问题在于如何从质量下降的在线观测数据中恢复可靠的相机-投影仪对应关系，并得到几何上一致的对外参更新结果。
近年来，越来越多的研究开始探索在非理想成像条件下利用深度学习进行几何参数估计。现有的基于学习的方法大致可分为两类。第一类采用端到端的参数回归方式，试图通过学习从原始标定图像到标定参数的直接映射，从而替代手工设计的特征提取步骤[15]、[16]、[17]。虽然这类方法提升了推理效率，但往往缺乏足够的物理可解释性以及明确的几何约束。在参数空间维度较高的相机-投影仪系统中，这种局限性更为明显，因为微小的感知偏差就可能导致严重的几何不一致，进而限制其在工业应用场景中面对领域变化时的泛化能力。
第二类则是基于特征学习辅助的标定方法，这类方法将神经网络引入传统PSP流程的关键模块，以替代手工设计的特征提取和解码步骤。通过利用数据驱动的先验信息，这类方法提升了角点检测或相位恢复的稳定性。例如，陈等人[18]和张等人[19]就运用卷积神经网络实现了在失焦和遮挡条件下的稳健棋盘格角点定位。在结构光测量领域，深度学习还被用于条纹去噪和相位反演，以减轻低信噪比带来的影响[20]、[21]、[22]。不过，这些针对单个模块的改进仍与最终的几何优化过程存在较大脱节，感知误差仍可能影响标定结果，且缺乏系统级的几何反馈机制，难以在图像质量严重下降时实现自我修正。此外，也有研究尝试结合几何约束来处理棋盘格数据，比如通过极线约束排除无效的交点[23]。然而，这类基于规则的或事后的策略通常依赖预先建立的几何关系，无法为从质量下降的观测数据中学习稳健的对应关系提供可微的反馈机制。
上述种种局限性表明，亟需一种统一的在线相机-投影仪外参标定框架，该框架应以预先标定的固定内参作为系统先验，同时兼顾成像质量下降的问题以及系统级的几何一致性要求。为满足这一需求，本文提出了一种基于物理规则约束的深度学习框架，用于在成像质量下降的条件下实现相机-投影仪的外参在线标定。该框架建立了对成像质量下降具有感知能力的感知模块与几何一致性优化之间的紧密关联，通过整合鲁棒的表示学习器、双分支协同预测器以及基于逆摄像机的可微重投影机制，将原本分散的标定流程整合为一个统一的、基于物理原理的学习过程，从而在成像质量下降的在线观测条件下提升几何一致性和系统稳定性。本研究的主要贡献如下：
- 1.
针对成像质量下降的条件下需要使用固定内参的相机-投影仪外参在线标定问题，本文设计了一种受几何约束的深度学习框架。该框架将具有成像质量下降感知能力的感知模块与几何一致性优化相结合，从而能够可靠地恢复相机-投影仪的角点对应关系，并为后续对外参的更新提供几何上一致的初始值。
- 2.
针对质量下降的条纹观测数据，本文设计了多尺度条纹注意力编码器（MSSA-Encoder）。从频域角度出发，该编码器能够在失焦、环境光干扰以及视野范围受限的情况下增强有用的结构特征，从而为后续的角点检测和姿态预测提供稳定的共享特征表示。
- 3.
本文引入了基于逆摄像机的可微重投影机制，在训练过程中将跨视角的几何一致性作为物理约束项。该机制能够利用系统级的几何残差来引导质量下降的角点对应关系的恢复以及外参的精细化调整。
本文的其余部分结构如下：第2节介绍逆摄像机原理以及成像质量下降的分析方法；第3节详细阐述所提出的方法；第4节展示实验设置与结果；最后第5节对全文进行总结。
章节要点
相机-投影仪标定模型与成像质量下降分析
结构光标定的目标是准确估计相机-投影仪系统的几何参数。如图1所示，标定过程通常以具有已知几何结构的平面棋盘格作为中间目标来实现。在标定过程中，投影仪会将编码后的条纹图案投射到棋盘格上，同时相机同步捕获经过调制的条纹图像。通过结合条纹解码与棋盘格角点定位，即可实现三方的
整体框架
为了解决由成像质量下降导致的角点观测、相机-投影仪对应关系以及后续姿态估计方面的不稳定问题，本文设计了一种受几何约束的深度学习框架，用于实现相机-投影仪外参的在线标定。如图2所示，该框架由具有成像质量下降感知能力的基于MSSA的感知模块、双任务预测分支以及基于逆摄像机的可微重投影模块组成。这些组件共同实现了对鲁棒特征的
实验部分
本章从实验设置、评估方案、对比结果以及消融实验四个方面，对所提出的框架在成像质量下降条件下的性能进行了验证。
结论
本文提出了一种基于物理规则约束的深度学习框架，用于在成像质量下降的条件下实现相机-投影仪外参的在线标定。通过整合具有成像质量下降感知能力的特征提取、双任务预测以及可微的几何优化功能，该框架有效降低了成像质量下降带来的不稳定问题，能够在失焦、遮挡以及噪声存在的情况下实现稳定的亚像素级角点定位。该框架可作为一种在线恢复工具，
CRediT作者贡献说明
何伟伟：论文撰写——初稿撰写、可视化处理、结果验证、软件开发、资源整理、项目管理、问题调研、形式化分析、数据整理、概念构思。缪慧思：论文撰写——初稿撰写、指导监督、项目管理、方法设计、问题调研、资金申请、形式化分析、概念构思。吴俊奇：结果验证、资源整理、方法设计、问题调研、数据整理。吴宇航：论文撰写——审阅与编辑、可视化处理、指导监督、软件开发，
利益冲突声明
作者声明，他们不存在任何可能影响本文研究结果的已知利益冲突或个人关系。
致谢
本研究部分得到了国家自然科学基金的资助（项目编号：62303392），以及湖南省重点研发计划（2025JK2018）、湖南省自然科学基金（项目编号：2026JJ60047）和湖南省研究生科研创新项目（CX20251000）的支持。
何伟伟|缪慧思|吴俊奇|吴宇航|黄伟|肖长燕|张辉
