《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》：Close-range real-time camera pose estimation and AR-guided alignment for large-scale industrial components
编辑推荐：
作者：弗朗切斯科·梅蒂纳（Francesco Messina）、亚历西奥·马蒂诺（Alessio Martino）、弗朗切斯卡·马特罗内（Francesca Matrone）、安德烈亚·玛丽亚·林古亚（Andrea Maria Lingua）、巴勃罗·普埃托（Pablo Puer
作者：弗朗切斯科·梅蒂纳（Francesco Messina）、亚历西奥·马蒂诺（Alessio Martino）、弗朗切斯卡·马特罗内（Francesca Matrone）、安德烈亚·玛丽亚·林古亚（Andrea Maria Lingua）、巴勃罗·普埃托（Pablo Puerto）
所在地：意大利都灵理工大学（Politecnico di Torino），电子与电信系（Department of Electronics and Telecommunications, DET），服务机器人跨部门中心（PoliTo Interdepartmental Center for Service Robotics, PIC4SeR），地址：Corso Duca degli Abruzzi 24，邮编10129
摘要
在机床中对大规模工业组件进行精确对齐对于确保加工精度、产品质量和工艺效率至关重要。设置阶段引入的误差可能会在整个制造过程中传播，通常会导致昂贵的返工。传统的对齐方法依赖于激光跟踪系统，尽管这些系统精度很高，但需要专门的设备和熟练的操作人员，并且设置时间较长，因此成本较高且操作要求较高。为了克服这些限制，本文提出了一种实时的协作式相机姿态估计框架，简化并加速了对齐过程。该解决方案整合了预测仿真、采集轨迹规划和增强现实（AR）技术，使得即使是非专家用户也能快速、准确地完成对齐操作。该系统基于IDEKO VSET解决方案，并在TACCO项目中得到了进一步开发，该项目得到了欧洲创新与技术研究院（EIT Manufacturing）和欧盟的共同资助。该框架从高保真3D模型开始，采用基于蒙特卡洛的优化策略来确定辅助组件的最佳位置，包括校准过的标尺、编码目标（igloos）和参考框架。可配置的图像采集策略允许用户平衡精度和计算复杂度。候选配置通过最小二乘法束块调整仿真进行评估，该仿真基于共线方程和结构从运动（Structure from Motion）方法，能够在数据采集前进行不确定性传播分析并生成95%置信度误差椭球。该系统的关键创新在于能够将优化后的规划方案转化为实时的沉浸式AR引导。操作人员通过AR头戴显示器来指导辅助组件的放置和相机定位，确保数据捕获的完整性和准确性。所提出的方法在精度上接近激光跟踪系统，同时大幅减少了设置时间、成本和对专业人员的需求，为工业组件对齐提供了一种可扩展且经济高效的替代方案。
引言
计量在工业领域起着基础性作用，尤其是在处理大规模组件时。这类组件常用于航天、造船、能源生产和交通基础设施等关键领域。在这些领域，原始部件的尺寸往往达到数十米，需要极高的加工精度以确保功能性和安全性以及符合法规要求。由于这些组件在主要和安全关键系统中的作用，它们在整个制造过程中需要严格控制和规划，包括初始加工、中间对齐程序以及最终装配和精加工操作。
大规模计量（LVM）对于确保铣削或其他加工操作中元素的正确定位和精确测量至关重要。目前的大规模计量技术包括使用昂贵的设备，如坐标测量机（CMM）或激光跟踪系统。这些系统提供高精度测量结果，但需要大量投资、专用设施和受过培训的人员，且操作时间较长。
解决这些挑战的有效方法是摄影测量术，它能够从图像中获取准确可靠的测量数据（B?semann, 2005; Wang et al., 2013; Galantucci et al., 2016）。通过使用高分辨率相机结合专用算法（Girelli et al., 2022），可以高效地重建工业组件的详细三维模型，而无需高度专业的人员参与，只需快速获取多个物体图像即可。
本研究是TACCO项目的一部分，旨在快速准确地设置无缺陷的部件。目标是设计一个直观且视觉吸引力强的人机界面（HMI），指导非专家用户完成最大30米尺寸的工业组件的计量工作。该系统旨在达到与传统高精度方法相当的水平。该项目得到了欧盟在欧洲创新与技术研究院（EIT）制造计划下的共同资助，是对Mendikute等人（2017）提出的VSET系统的改进，该系统利用校准过的、编码过的和反光的辅助元件来精确获取加工点的位置。
在之前由梅蒂纳等人（2024）通过模拟场景验证的方法基础上，本研究将验证范围扩展到了实际应用中，涉及中型工业组件。通过将摄影测量结果与使用Leica Absolute Tracker AT403获得的高精度测量结果进行比较，证明了TACCO系统在操作条件下的实际适用性、可靠性和准确性。研究结果证实，该方法不仅达到了目标精度阈值，还在复杂的工业环境中提供了传统大规模计量系统的可靠替代方案。
本研究的主要贡献如下：
- •
为大型工业对齐任务中辅助摄影测量组件和相机姿态的最佳放置开发了基于仿真的框架；
- •
集成蒙特卡洛最小二乘仿真，在数据采集前分析不确定性传播和误差椭球；
- •
使用增强现实界面指导非专家操作人员进行辅助组件放置和图像采集，减少设置时间和对操作人员的依赖；
- •
通过在真实工业场景中与高精度激光跟踪测量结果进行比较，对所提出的方法进行了实验验证。
相关文献片段
相关研究
本节回顾了与工业摄影测量、大规模计量、不确定性建模以及使用增强现实进行测量和对齐任务相关的主要的最新技术。
多年来，人们一直在研究通过摄影测量术精确测量工业组件，即使是对大规模元件也是如此，尽管传统上受到使用胶片和光机械系统的限制。近年来，计算机视觉的影响日益显著。
方法论
基于对相关研究的分析，以下部分介绍了所提出的方法论，该方法论旨在通过一种稳健的、基于仿真的工作流程实现大规模工业场景中的高精度摄影测量，即使是非专家操作人员也能使用。
为了达到1:100,000的摄影测量精度（通常与高端计量技术相关），建立一种稳健且用户友好的工作流程至关重要。
初步结果和验证
为了评估所提出方法的可行性和相关性，我们最初对多种工业组件进行了系列模拟，涵盖了广泛的物理尺度和结构复杂性。
这些模拟旨在复制工业组件典型的实际采集条件和几何挑战。然后将模拟重建的结果与事后得到的分析估计值进行系统比较，使我们能够...
结论
本研究提出并验证了一种新的摄影测量方法，该方法在TACCO项目中开发，旨在解决大规模工业对齐的挑战。通过结合基于仿真的设计、蒙特卡洛优化和AR辅助的用户指导，所提出的系统能够实现辅助组件的准确放置和摄影测量数据的采集，即使是非专家操作人员也能完成。
广泛的仿真测试证明了该系统的能力...
CRediT作者贡献声明
弗朗切斯科·梅蒂纳（Francesco Messina）：撰写 – 修订与编辑、初稿撰写、可视化、验证、软件开发、方法论研究、概念化。亚历西奥·马蒂诺（Alessio Martino）：初稿撰写、可视化、验证、软件开发、调查研究、数据管理。弗朗切斯卡·马特罗内（Francesca Matrone）：修订与编辑、初稿撰写、可视化、验证、监督、调查研究、数据管理、概念化、方法论研究。安德烈亚·玛丽亚·林古亚（Andrea Maria Lingua）：初稿撰写
利益冲突声明
作者声明他们没有已知的可能会影响本文工作的竞争性财务利益或个人关系。
致谢
EIT Manufacturing和欧盟委员会的共同资助。然而，所表达的观点仅代表作者本人，并不一定反映EIT Manufacturing、欧盟或欧洲健康与数字执行机构（HADEA）的观点。合作伙伴包括Ideko、Mondragon、Soraluce、都灵理工大学（Politecnico di Torino）、Renishaw Iberica、Officine Meccaniche B.B.M.、Maschinenfabrik Wüstwillenroth GmbH和Dr. Matzat等。
