使用低成本移动传感器堆栈的3D辐射热成像拼接技术 Scott McAvoy, Jonathan Klingspon, Adrian Tong, Eric Lo, Nathan Hui, Maurizio Seracini, Dominique Rissolo, Neal Driscoll, Falko Kuester

《Remote Sensing》：3D Radiometric Thermography Mosaics with Low-Cost Mobile Sensor Stack Scott McAvoy, Jonathan Klingspon, Adrian Tong, Eric Lo, Nathan Hui, Maurizio Seracini, Dominique Rissolo, Neal Driscoll and Falko Kuester

　　**亮点**

**主要发现是什么？**
本文提出了一种工作流程，将iPhone移动传感器数据（RGB、LiDAR深度信息和FLIR One热成像数据）集成到3D建模管线中，能够生成包含完整16位辐射度信息的热图马赛克。同时，还介绍了一种立体校准模型，该模型能够有效实现对iPhone传感器堆栈和FLIR One热成像模块多模态输入的配准与融合。

**主要发现的意义是什么？**
低成本移动设备能够在小于5米的捕捉距离内生成分辨率在几毫米以内的3D热图马赛克，从而使得建筑和环境遗产的热诊断变得更加普及。开源的辐射度数据提取和多传感器融合方法使得科学分析可以不受专有处理的限制，实现可重复性。

**摘要**
红外热成像在建筑和自然环境中的各种诊断应用中提供了关键信息。由于热状态会随环境条件变化，因此及时部署热成像系统至关重要。使这些系统更加经济实惠和易于使用是一个有吸引力的举措。虽然低成本的热传感器通常产生低分辨率的图像，但诊断人员可以通过拼接多个重叠的热图来增加数据密度。通过采集额外的传感器数据（照片和深度图），可以辅助将各个输入配准到大马赛克中，这些数据提供了重要的空间参考。在现代建筑环境中，某些材料会给传统的多传感器数据配准流程带来挑战。移动设备为创新热图创建提供了机会，将快速的地理空间测绘功能与辐射度热成像集成在3D环境中。本文作者评估了FLIR One Pro热成像相机模块以及iOS/iPhone的快速测绘功能，并提出了一种方法：（1）介绍了一种将短距离（0.3–5米捕捉距离内）iPhone移动传感器数据集成到建模管线中的工作流程；（2）介绍了一种校准模型，以实现iPhone移动传感器堆栈和FLIR One热成像模块多模态输入的有效配准与融合；（3）详细介绍了一种用于评估和转换热成像图像以进行多传感器融合的开源方法。该流程的最终产品是一个3D辐射度热图马赛克：一个空间连续、带有纹理的表面模型，其中数百张低分辨率热图被融合成单一的可查询输出，每个点都保留了完整的16位温度值。所有数据集都已公开发布，本文使用的两个案例研究也以全分辨率形式提供，支持交互式3D在线查看。

**1. 引言**
红外热成像（TIR）是解释建筑环境的强大工具，但其数据管理较为困难。传感器通常分辨率较低，要全面调查大面积区域需要拍摄大量图像。商业软件主要关注单张图像的可视化，难以适应大型实际环境。尽管有将多张图像合并成全景图的商业软件，但这些软件依赖于固定的拍摄方法和简单的2D变换，无法处理大规模或复杂的地形。通过与其他常见传感器的数据融合，可以解决热成像数据定位的问题，从而提高其整体可访问性和可扩展性。移动设备提供了强大的快速测绘能力，能够融合来自多个传感器的数据，捕捉图像、位置信息和深度，然后将这些数据合并成比例缩放的3D模型。2020年iPhone 12 Pro的发布标志着这一领域的重大进展，它改进了传感器集成，推动了该领域的发展。iOS特定的硬件/软件开发环境的统一性和普及性使得这些技术得以广泛应用。截至2025年，全球约有13.8亿部iPhone在使用中。iOS平台在全球市场占有27%的份额，尤其是在美国和日本[1]，是移动设备3D扫描应用的主要推动力。然而，对衍生产品而非原始数据及开放处理的关注掩盖了一个重要限制：这种融合是在基于AI的专有环境中进行的，其具体细节并未公开[2]。

基于iPhone LiDAR系统的商业建筑3D测绘软件使用SLAM（同时定位与地图构建）技术，通过顺序处理可见光和深度快照来实现实时拼接。但由于这些图像是按顺序拍摄和解析的，因此生成的模型可能存在“漂移”误差。例如，在房间内循环扫描时，起始点和结束点可能不对齐[3]。某些产品提供可选的摄影测量重建服务，但这些服务通常依赖于付费的云计算订阅或基于信用的服务，并且结果受分辨率限制且不可编辑。

FLIR One移动IR模块（产自美国加利福尼亚州Goleta）于2014年1月发布，是首款面向消费者的热成像系统，设计为iPhone 5/5S的智能手机配件。它使用了原始的Lepton热微相机核心，配备80×60像素传感器，并新增了可见光相机以支持MSX（多光谱动态成像）功能，该功能通过叠加从RGB图像中提取的边缘来提供更丰富的空间上下文。后续版本中，相机分辨率和热工作范围得到提升，2018年的FLIR One Pro将摄像头形式改为通过USB-C或Lightning连接器连接到手机底部的独立模块（图1）。这一版本支持辐射度图像输出，可以从图像中提取温度值，而不仅仅是牺牲细节以适应调整后视觉范围的纯视觉输出。

**1.1. 红外热成像**
热图显示了物体发出的红外辐射（热量）。表面温度梯度可能是由于表面下的特征将热量传递给或从表面结构中移除造成的，例如空气泄漏、缝隙、湿度差异或隐藏的电线、管道或结构材料。对于建筑检查员来说，热成像的关键用途不一定是获得特定温度的客观准确读数，而是主观识别表明这些温度差异的异常现象。尽管热成像异常现象并不能得出决定性结论，但它们有助于对结构的基本理解，并为进一步的调查提供依据，同时也为可见表面退化的诊断提供了额外证据。热成像传感器并不直接测量温度，而是测量传感器接收到的入射红外辐射强度，这种辐射主要来自表面发射和反射，以及中间大气的发射和衰减[4]。

表面热成像的解释可能因不同表面材料而复杂化，因为不同材料以不同的比例发射或反射红外辐射。两个温度相同的物体在热图中的表现可能因表面特性而不同。例如，涂在墙表面的某些固定剂或其他材料的反射特性可能类似于镜子反射人的效果。对于已知材料，可以使用发射率/反射率指数表来纠正这些不准确性，但这是一个耗时的过程，需要大量的手动工作和相关知识。大气辐射（表示为）进一步影响测量信号，它通过衰减目标辐射并在光路中产生额外的辐射。这些效应的幅度由大气透射率决定，该透射率取决于光路长度、环境温度和相对湿度。然后可以使用普朗克逆方程从计算出的总辐射图中推导出真实温度[4,5]。

通过TIR获得的信息在很大程度上依赖于环境条件，因此及时性是热数据采集的关键考虑因素。建筑物的热分布会随时间和天气变化，因为太阳是一个强大的变化热源。白天，太阳的位置变化可能会导致感兴趣的特征发生显著变化。白天，外部受太阳加热，内部温度较低；夜晚则相反，内部温度较高。为了基线了解热分布，中午和午夜的成像可以显示热量如何自然保持。在理想条件下（如寒冷干燥天气的黎明前几小时）进行TIR可以揭示更多细节[6]。因此，使热成像系统更易于使用非常重要，以便非专业用户也能根据需求进行操作。

**1.2. 使用热图进行摄影测量**
虽然可以使用TIR输出单独进行3D摄影测量对齐和重建，但这面临重大挑战。主要问题是大多数热相机的分辨率较低，限制了捕捉准确特征匹配所需的细节。此外，热图像对比度低，缺乏明显的、一致的特征，特别是在温度分布均匀的场景中，导致结构从运动（SfM）算法无法找到足够的对齐点。环境因素也会造成问题：阳光、风和湿度的变化会导致表面温度快速且不均匀地变化，从而导致不同时间或角度拍摄的图像出现不一致的热图案。这些限制往往需要迂回方案：将热数据与更高分辨率的RGB图像数据集一同处理，以提供准确的3D建模所需的几何信息[7]。虽然仅使用热成像输入也可以进行摄影测量，但低分辨率意味着需要在其更近的距离拍摄更多图像以获得足够的像素特征（160×120或0.019兆像素，而后置相机为3024×4032或12.19兆像素）。此外，RGB特征提供了比较非可见表面质量与其对象的关键视觉上下文信息。通过多传感器系统，并结合已知的相机特性（内在参数）和固定相对位置的传感器（外在参数），可以将这些数据一起配准并互换，从而将TIR数据准确地放置在3D空间中，并将其叠加到3D重建上，创建高质量图像马赛克。

**2. 相关研究**
Vidas等人[8]的早期工作建立了结合RGB、深度和热成像数据来进行建筑内部3D热绘图的关键方法。他们的方法证明了使用早期RGB-深度传感器在室内环境中注册热成像与深度信息的可行性。Hess等人[6]和Napolitano等人[9]建立了建筑遗产多模态热数据融合的方法论框架，包括无损检测、激光扫描和数值建模的集成。这些研究为理解如何将不同类型的数据（热数据、几何数据和摄影数据）融合到全面的数字文档系统中提供了理论和实践基础。这项工作为解决传感器在视野范围、分辨率和校准要求上的技术挑战奠定了基础。Muzika等人[10]对热图像数据中发射率影响抑制的问题进行了重要研究，这对于文化遗产记录和建筑物评估应用尤为重要，因为这些应用中的表面材料具有不同的发射率。他们对比了各种方法，为处理材料属性未知或可变情况下的热数据提供了实用指导，这种情况在现场记录工作中很常见。Tondo等人[11]在探索基于iPhone LiDAR的传感系统用于振动测量和模态分析时，描述了该传感器堆栈的性能，提供了关于传感器时间精度和高频能力的独特见解。虽然他们主要关注结构动力学，但对传感器噪声、时间分辨率和数据采集率的描述对于需要精确3D重建的应用非常有价值。他们记录了采样率、延迟特性和噪声水平，为iPhone LiDAR在苛刻应用中的表现设立了现实期望。

2.1 移动3D热成像融合
Yang等人[12]和Stojcsics等人[13]证明了当应用适当的校准和配准技术时，智能手机传感器可以生成可行的3D热模型。他们提出了基于智能手机的红外热图像和可见光图像融合方法，以重建3D热模型。他们的方法特别适用于基于iPhone的工作流程，因为它们考虑了移动传感器的独特限制，包括有限的计算资源、未校准的传感器以及实时处理的需求。Brea等人[14]提供了关于室内环境低成本热点云的最新和直接适用的研究，他们创建了一种外部校准方法，将Lepton 3.1R的热数据直接投影到LiDAR点云上。他们的研究解决了创建经济实惠、易获取的热3D文档方法的问题。尽管所采用的相机校准方法较为基础，但这项研究证明了这种融合的可行性。然而，这些先前的研究未能提供查询全分辨率热图像数据集的手段，而是将16位温度读数转换为适合8位范围的标准化抽象值。

总体而言，图像和热图像的配准是一个复杂的话题，需要彻底的校准。Dlesk等人[7]解决了一个关键技术挑战：热红外图像和RGB图像的光谱共处理中的变换问题。他们的研究表明，正确的几何变换和辐射度校准对于准确的融合至关重要。研究发现，热传感器和RGB传感器具有根本不同的光学特性，因此需要专门的配准算法。对于使用FLIR One附件的基于iPhone的工作流程来说，这些发现表明简单的几何对齐是不够的——必须使用考虑镜头畸变、视野差异和传感器偏移的适当校准矩阵。

2.2 深度与室内映射性能
Spreafico等人[15]和Teppati Lose等人[3]对iPad Pro内置的LiDAR传感器进行了评估，用于无需参考的3D快速映射，建立了基线性能指标。他们的测试表明，该传感器在室内外快速映射场景中可以达到厘米级的精度，特别关注了传感器的范围限制（最大有效距离约为5米）。研究指出，尽管绝对精度在很大程度上取决于扫描技术，但在单次扫描会话内的相对精度却非常一致。Teo和Yang[16]基于这些概念，引入了一种从固定位置旋转的扫描方法，模仿了地面激光雷达扫描仪（TLS）系统。他们表明，在这种配置下，可以在1-1.5米的距离内实现1毫米的平面精度。与摄影测量重建能力进行比较时，这些研究证实了LiDAR获取在重建某些不适合基于图像建模的对象时的优势，以及对变化环境光照条件的更好适应性，这些条件常常会限制基于图像的重建。研究结论认为，Apple LiDAR传感器适用于快速文档记录、初步调查以及在传统测量设备不切实际的应用场景中，尽管在高精度要求时应配合使用摄影测量技术。Tavani等人[17]对当前最先进的技术在地质勘测应用中的实际效果表示失望，指出开箱即用的低成本3D采集方法的性能不佳，并表达了改进的需求。Suleymanoglu等人[18]对iPhone 14 Pro进行了最严格的道路基础设施测绘精度评估，提供了与专业测量设备直接可比的指标。他们的研究将iPhone 14 Pro数据（使用Pix4Dcatch 1.19软件生态系统中的viDoc RTK增强功能）与商用UAV-LiDAR平台进行了比较。关键的是，Suleymanoglu等人证明，经过融合和校正后的iPhone输入数据在某些指标上比专业系统表现更一致，尽管在复杂几何体的边界检测方面存在一些限制。这项研究表明，通过在后处理软件流程中应用控制点，可以缓解漂移问题。

当前文献中的空白之处包括对ARKit生成的单独深度图的表征、FLIR辐射度JPEG数据输出的表征、第三种数据源的添加，以及将iPhone原生LiDAR与FLIR One等热相机集成到统一的开源工作流程中，以生成大规模3D热图像马赛克。虽然各个组件已经得到了验证，但从数据捕获到校准、配准、融合成可扩展的马赛克，再到保持完整的16位热温度范围的整个流程代表了新的潜在贡献。

2.3 多传感器交叉校准
本研究中使用的不同传感器（可见光相机、TIR相机和基于IR的深度相机）可能以不同的方式表示同一目标，这使得共享特征的配准变得困难。因此，需要设计一个校准目标，以确保三种成像模式之间的共享特征。热传感器和RGB传感器的几何校准目标通常可以分为两类：方形角点校准方法和圆形中心点校准方法。方形角点方法利用RGB相机校准的棋盘格方法，设计具有不同发射率的黑白正方形，使它们在热图像上具有区分度。方法包括使用泛光灯加热的标准棋盘格校准板[20]和使用电加热器加热的UV打印铝复合目标[21]。这些正方形在红外和可见光谱中都可见，从而可以使用单一图案同时进行热校准和RGB校准。然而，由于热传感器的分辨率显著较低，角点查找方法的精度可能较低。圆形中心点校准方法用圆形网格代替棋盘格图案，其中圆心作为控制点。热图像中的圆形可以通过点光源（如灯泡[22]或电阻器[23]）生成。值得注意的是，为了同时进行RGB校准，需要构建一个额外的可见光校准图案。圆形也可以通过打印在刚性表面上[24]或结合两种不同发射率的材料来创建，其中一种材料作为冷“掩模”以清晰地区分热“背景”上的圆形[25]。对于热相机校准，研究显示，在铝复合面板上UV打印的圆形图案比棋盘格图案能提供更好的结果[24]。然而，设计圆形校准目标可能更为复杂，特别是当热校准点和RGB校准点来自不同来源时。还探索了离线无目标校准方法，从场景上下文中直接推导出相机之间的几何关系。Cortesi等人[26]通过为每对图像拟合五参数变换（三个相机之间的旋转角度和2D图像平面平移），在非刚性安装的传感器对上共配准了异步的多光谱和热图像对，忽略了在高海拔平面场景近似下的3D相机间平移。通过最大化每种模式下手动对应的分割对象掩码之间的相关性来优化参数。这种方法避免了使用物理校准目标，但依赖于共享内容和接近平面的场景。

3. 材料与方法
本文的研究使用了iPhone 12 Pro（RGB和LiDAR）以及FLIR One Pro热成像模块。在本文发表时，这些设备都有更新的版本，但对比新模型后发现升级并不必要。对于iPhone来说，从iPhone 12到iPhone 14的所有型号都使用了相同的硬件。2024年LiDAR硬件有所改变，但分辨率和工作距离保持不变[27]。对于FLIR One Pro，2022年引入了新的外形尺寸，但分辨率没有提升，实际上RGB参考分辨率从1440 × 1080像素降到了640 × 480像素[27]。

3.1 成像传感器
iPhone 12 Pro配备了多种专业相机和传感器（表1）。本文探讨的集成使用了两组传感器来桥接可见光照片、深度信息和TIR信息。iPhone的LiDAR与26毫米“广角”相机配准，而TIR相机则与FLIR One RGB相机配准，遗憾的是，FLIR One RGB相机没有公开的文档。然后，将iPhone广角相机和FLIR One RGB相机拍摄的照片进行匹配，以完成传感器网络（图2）。这两组传感器可以通过从单一固定位置捕获所有四种输入来在几何上进行约束（确保精度），或者分别进行照片/深度和照片/热调查（以实现移动自由度和加快采集速度）。

3.1.1 FLIR One Pro硬件
FLIR One Pro（第三代）是一款升级版的消费级热成像相机附件产品。该设备具有19,200像素的原生热分辨率和辐射度图像输出，使用了FLIR Lepton 3.5 R（辐射度）TIR相机模块，该模块在美国加利福尼亚州Goleta制造。FLIR One Pro可以测量从[温度范围]到[温度范围]的温度，热灵敏度为70 mK，能够检测微妙的温度差异。传感器的像素间距为12微米，视野角度为57度。没有指定特定的距离限制，镜头对焦距离为无限远。该相机集成了FLIR的MSX（多光谱动态成像）技术，将热图像与内置RGB相机的细节结合，创建具有清晰边缘的实时叠加层。RGB相机的规格没有公开，必须从头开始进行特性测试[28]。该设备具有可调节的连接器，最长可伸出4毫米以适应不同的手机壳[3]，但在本研究中也保持为零水平，以确保实验之间的统一性。该系统优化了0.3米到3米的工作距离[28]。

为了将TIR图像转换为3D空间，将这些规格转化为实用指导原则非常重要，这有助于用户规划他们的调查。地面采样距离（GSD）帮助我们理解图像中单个像素代表的空间范围。计算公式为[公式]。从维度上讲，像素间距（毫米/像素）通过场景距离与焦距（均为毫米）的比率进行缩放，将传感器上的像素大小投影到目标上的相应物理尺寸（毫米/像素）。在我们的有效范围0.3米到3米内，我们可以预期GSD大约在2毫米到19.6毫米之间（表2），因此不应能够看到物理环境中小于这个较低阈值的任何特征。

3.1.2 iPhone相机硬件
iPhone 12 Pro配备了两个相机系统（前置和后置），专为特写和远距离摄影设计。在设备背面，配备了一个三摄像头阵列，包括一个1200万像素的广角镜头（?/1.6光圈），用于标准摄影；一个1200万像素的超广角镜头（?/2.4光圈），用于捕捉更广阔的视野；以及一个1200万像素的 Telephoto 镜头（?/2.0光圈，焦距52毫米），支持光学变焦功能。这个后置摄像头系统还配备了一个基于飞行时间（ToF）技术的 LiDAR 扫描仪，使用垂直腔面发射激光器（VCSEL）阵列，最佳扫描范围为0.3到2米[11]，能够在低光照条件下提供深度感知，从而改善自动对焦效果并增强增强现实应用。在正面，iPhone 12 Pro 采用了 TrueDepth 摄像头系统，包含一个1200万像素的摄像头用于自拍和视频通话，以及专门的深度感应组件。TrueDepth 系统使用一个点投影仪，在用户脸上投射超过30,000个红外线点，一个红外摄像头捕捉这些点图案，以及一个红外泛光灯，以在低光照条件下正常工作。这个前置摄像头阵列生成的深度图具有高分辨率，最佳扫描范围小于1米[29]，主要用于实现 Face ID 面部识别，同时也支持自拍对焦优化等功能。

在 iOS 环境中，有多种方法可以从 iPhone 中提取深度数据（表3）。本文重点介绍的是 iOS 17.5.1（21f90）版本中的 Apple ARKit 输出，这是3D扫描应用程序的基础。还有一种使用专注于媒体的“AVFoundation”库[30]的方法，可以从 RGB 摄像头对中提取深度信息（在 LiDAR 传感器发布之前的标准做法），据称这种方法的深度图分辨率高于 ARKit[30]。尽管无论使用哪种深度源，这里描述的数据融合方法都应该有效，但 ARKit 和 AVFoundation 之间的差异及其改进潜力值得进一步研究。表3显示了 iPhone 12 Pro 上可用的深度感应方法比较。iPhone 的基于 LiDAR 的3D扫描应用程序基于实时 SLAM 技术，通常不提供用于后期处理的单个深度输入。iPhone 的标准摄像头应用程序为竖屏模式拍摄的图片提供深度信息层，通过核心注册 RGB 和深度数据。对于 TrueDepth 系统（包括点投影仪和红外摄像头），这些信息会被输入到面部识别功能中，而前置和后置传感器都利用深度信息来提高图像质量和对焦效果。前置 TrueDepth 摄像头拍摄的图像可以在真实世界比例下保存数据，并可以作为 RGB-D 输入导入到 photogrammetry 系统中，但它们生成的深度图噪声较大。在 CloudCompare 中进行的初步平面偏差分析显示，从2米距离看，图像的失真可能达到2厘米，但需要进一步研究来准确描述这些深度图（图4）。可以推测，在其他应用程序中使用这些图像时可能会进行额外的过滤处理，尤其是其他来源报告的准确度为2毫米[29]。后置摄像头拍摄的图像以标准化的八位格式保存深度信息，这会去除真实世界的深度信息，需要额外的处理才能获得可用数据。低成本的应用程序 Depth Camera RAW 使用 Apple ARKit 从后置 LiDAR 摄像头提取完整深度分辨率的单独帧，允许在 photogrammetry 工作流程中使用[31,32,33]。

3.1.3 iPhone 深度传感器
在 iOS 环境中，有多种方法可以从 iPhone 中获取深度数据。本文主要关注 iOS 17.5.1（21f90）版本的 Apple ARKit 输出，这是3D扫描应用程序的基础。另一种方法是使用专注于媒体的“AVFoundation”库[30]，它可以从 RGB 摄像头对中提取深度信息（在 LiDAR 传感器发布之前的标准做法），并且据称其产生的深度图分辨率高于 ARKit[30]。尽管这里描述的数据融合方法适用于任何深度源，但 ARKit 和 AVFoundation 之间的差异及其改进潜力需要进一步研究。表3显示了 iPhone 12 Pro 上可用的深度感应方法比较。

iPhone 的基于 LiDAR 的3D扫描应用程序基于实时 SLAM 技术，通常不提供用于后期处理的单独深度输入。iPhone 的标准摄像头应用程序为竖屏模式拍摄的图片提供深度信息层，通过核心注册 RGB 和深度数据。对于 TrueDepth 系统（包括点投影仪和红外摄像头），这些信息会被输入到面部识别功能中，而前置和后置传感器都利用深度信息来提高图像质量和对焦效果。前置 TrueDepth 摄像头拍摄的图像可以在真实世界比例下保存数据，并可以作为 RGB-D 输入导入到 photogrammetry 系统中，但它们生成的深度图噪声较大。在 CloudCompare 中进行的初步平面偏差分析显示，从2米距离看，图像的失真可能达到2厘米，但需要进一步研究来准确描述这些深度图（图4）。可以假设这些图像在其他应用程序中使用时会经过额外过滤处理，尤其是其他来源报告的准确度为2毫米[29]。后置摄像头拍摄的图像以标准化的八位格式保存深度信息，这会去除真实世界的深度信息，需要额外处理才能获得可用数据。低成本的应用程序 Depth Camera RAW 使用 Apple ARKit 从后置 LiDAR 摄像头提取完整深度分辨率的单独帧，允许在 photogrammetry 工作流程中使用[31,32,33]。

3.2 TIR 数据准备
FLIR One Pro 的原始输出是 .JPG 格式的图像，其中包含 RGB 图像和嵌入的 TIF 文件，TIF 文件中保存了原始的辐射度热数据（尚未转换为可使用的温度格式）。辐射度相机能够测量和存储信息，从而计算图像中每个像素的绝对温度，而非辐射度相机则提供相对热强度的视觉表现，但不包含具体的温度值。如果图像仅显示场景中的相对数据摘要，而不存储这些原始值，那么将会丢失大量信息，并且图像本身会因为每帧中的异常值（温度极高或极低的特征）而有所不同。使用 FLIR Studio 2.062 [34] 软件批量处理这些输入时，无法获取包含 RGB 图像和校正后的热值的辐射度 JPG 文件。无法单独导出非标准化的辐射度热图像，必须将它们分开处理。非标准化的温度值只能以 .CSV 电子表格格式导出，然后需要将其转换为 TIF 文件。当热图像与裁剪后的 RGB 图像叠加时，会发现存在显著的误差。因此，必须建立一种新方法来提取适当的数据输入并校正它们的对齐。

FLIR One 相机输出的图像是 JPEG 格式，图像数据段内包含预处理后的颜色映射图像，以及 EXIF 字段中的一系列元数据，这些元数据通常用于在 FLIR Thermal Studio 软件套件中处理 RGB 和温度映射的 RGB 输出。每个图像的 EXIF 标头包含嵌入式 RGB 图像（在 -EmbeddedImage 字段中）、原始热传感器数据（-RawThermalImage）、制造商定义的每个传感器的 Planck 定律校准数据（R1, B, F, O, 和 R2），以及一系列用户定义的大气和捕获参数，包括物体发射率和距离、大气过渡模型参数、相对湿度、大气温度和反射表面温度。

为了提取这些字段，我们基于一个公开可用的提取工具[35] 编写了一个自定义脚本（附录 D），并对其进行改进，以保持辐射度值的同时允许在标准图像查看器中简单可视化。这个版本还针对批量转换进行了优化，这对于涉及数百甚至数千个单独输入的大型 photogrammetry 项目是必要的。该工具使用 ExifTool[36] 从标题中读取数据。温度转换过程通过使用这些提取的参数和校准常数来应用辐射度校正函数来进行。首先通过估计水蒸气的 partial 压力来计算大气透射率，然后计算反射表面温度和大气辐射的辐射贡献。接着使用这些值来计算校正后的真实物体辐射度，具体方法如第1.1节所述。

3.3 校准和转换
热图像拼接最直接的方法之一是使用对齐的 RGB 图像进行 photogrammetric 建模，在模型重建后、纹理创建之前简单地替换这些图像[13]。如果热图像与源图像正确对齐，热特征将会准确叠加。然而，这种对齐需要通过高对比度特征将热图像与 RGB 图像进行平面转换。在建筑环境中，我们经常遇到平坦无特征的表面，它们在热图像中可以看到，但在可见图像中则看不到这些特征。例如，一个大的完全平坦的石膏墙可能会遮住电气元件、水管、结构裂缝和潮湿点。从原始 FLIR One 图像中解析的头文件数据仅使用线性变换来创建热图像和 RGB 图像之间的对齐概念。具体来说，文件头包含 X 和 Y 像素偏移量、RGB 到 IR 的缩放因子（大约1.25），以及图片内的裁剪窗口，表明仅进行平移和缩放操作来对齐。然而，由于镜头 distortion 的非线性和制造公差，这种对齐模型在准确映射 RGB 和热图像之间的点对应关系时不够充分，特别是在变形较大的图像区域（如边缘附近）。典型的成像几何描述使用针孔相机模型，其中某个3D世界点通过内在矩阵 K 和相机外部旋转 R 以及平移 t 投射到2D图像点[5]。

FLIR One 相机的天真对齐模型没有考虑这些因素，将 RGB 和热传感器之间的关系视为一纯的缩放和平移操作，在图像边缘附近效果尤为明显。因此，使用这种方法的对齐得到的热图可能不够准确。通过对数千张图像进行仔细的人工检查，未在其他描绘自然或建筑环境的图像中发现这种失真。尽管如此，这种异常仍然值得进一步研究以正确描述其特性。

3.4 校准作为多视图装置
Kim 等人[25] 构建的 RGB 和热共校准目标由两层阳极氧化铝制成，前层（涂成低发射率）包含一系列切割的圆形图案，后层（涂成高发射率）被加热。虽然这种设计能够区分背景和前景，但作者未能达到所需的精度。为了防止层间的热传导，我们的目标设计使用了圆形点网格图案，由激光切割的白色丙烯酸前景层和黑色丙烯酸背景层组成，背景层和前景层之间相隔2厘米。后层由位于目标后面的电加热器加热，产生足够的热对比度以便一致地检测校准特征。整个目标长50.8厘米，宽50.8厘米，圆形孔直径1.9厘米，孔与孔之间的中心间距为3.27厘米。通过 ANSYS 2025 R2稳态热模拟验证了这种设计的有效性，确保加热会在每个孔产生不重叠的圆形热梯度（图7）。假设背景加热层的温度是均匀的。

3.4. 校准作为多视图装置
Kim 等人[25] 构建的 RGB 和热共校准目标由两层阳极氧化铝制成，前层（涂成低发射率）包含一系列切割的圆形图案，后层（涂成高发射率）被加热。尽管这种设计能够区分背景和前景，但作者未能达到理想的精度。为了防止层间热传导，我们的目标设计使用了圆形点网格图案，由激光切割的白色丙烯酸前景层和黑色背景层组成，背景层和前景层之间相隔2厘米。后层通过背后的电加热器加热，产生足够的热对比度以实现一致的校准特征检测。整个目标尺寸为50.8厘米×50.8厘米，圆形孔直径1.9厘米，孔与孔之间的中心间距为3.27厘米。通过 ANSYS 2025 R2稳态热模拟验证了这种设计的有效性，确保加热会在每个孔产生非重叠的圆形热梯度（图7）。这个目标使用了 MATLAB R2025b 编写的自定义立体检测器，利用内置的“detectCircleGridPoints”函数处理对称的圆形网格目标（图8）。由于某些校准数据集中可能存在180度的歧义，对称网格目标通常不用于立体校准。因此，这个自定义检测器类被用来确保校准数据集中的左上角特征点的一致性。

这种改进的目标设计使得立体校准模型的拟合误差在整个51张图像校准集中的平均值为0.49像素。每个相机的内在矩阵和失真系数使用 Zhang 的平面校准方法[37]进行估计，该方法通过对具有已知特征几何形状的平面目标进行多次视图拍摄，得到每个视图的目标平面坐标和图像坐标的对应关系。每个homography都对图像施加了约束，从这些约束中可以恢复每个视图的 K 值。通过非线性最小二乘法最小化总重投影误差，可以获得畸变系数和精细的内参。多视图立体校正通过同时优化两个相机的参数以及一个刚性的相对姿态，强制在整个视图中保持一致性。利用这个校准后的模型，立体校正可以计算出一对视变换矩阵，将两张图像扭曲到一个共同的图像平面上，通过估计的畸变系数进行矫正，并沿着水平扫描线对齐对应点，从而实现不同模态之间的直接像素对像素匹配（图9）。图9. 来自RGB（左）和热成像（右）的立体校正图像，显示了像素对齐情况。校准集上的平均重投影误差为0.49像素，表明模型拟合得很好，并限定了校正后的RGB图像和热成像图像之间的预期2D配准精度。相应的度量配准误差随物体距离线性变化，具体公式为（7），其中Z是物体距离，是平均重投影误差，px是从校准中获得的热像仪焦距。在典型的室内检测距离范围内进行评估（表4），表面配准误差保持在几毫米或更小的范围内，这显著小于摄影测量重建本身的几何不确定性。因此，校准并不是最终纹理化热成像模型精度的限制因素；可以预期热特征会准确地落在重建的表面上，而整体度量精度主要由RGB摄影测量流程控制，而不是立体配准步骤。表4. 成像距离及其对应的2D热成像到RGB表面配准误差。图10提供了热红外到3D建模流程的完整概述。图10. TIR图像提取、校正、校准和摄影测量处理的流程图。

3.5. 深度图整合
iPhone 12广角镜头和LiDAR模块的RGB图像与深度对似乎通过默认的ARKit库得到了很好的对齐。不幸的是，ARKit会降低RGB图像的分辨率以提高性能和优化子流程，但这些图像可以用从同一位置获取的全分辨率版本替换。iPhone RGB（1200万像素）和LiDAR深度图像（49万像素）之间的分辨率差异很大，使得全分辨率RGB输入的配准不够准确。仅从像素数量来看，在完美对齐的深度-RGB对中，一条倾斜的线可能导致高达5像素（半分辨率）或10像素（全分辨率）的误差（图11）。这种差异可能导致显著的畸变。图11. iPhone 12 LiDAR深度图叠加在RGB图像上，显示出像素溢出。颜色图表示的是归一化的深度，颜色范围从红色到蓝色随距离增加而变化。LiDAR产生的深度图分辨率较低，但它们可以填补传统摄影测量重建无法填补的空白。通过将这些LiDAR深度图与使用结构光运动（SfM）技术生成的高分辨率深度图结合，可以生成一个融合模型，充分利用这两种方法的优势。当LiDAR和图像对导入Agisoft Metashape时，系统会默认使用提供的深度图。使用39个iPhone 12图像-LiDAR对的校准目标数据集进行了一项简单实验（附录A），改变了LiDAR图像对与普通图像的比例（图12）。当仅使用图像时，背景中的电视屏幕无法被重建。当仅使用LiDAR深度信息时，我们会丢失细节丰富的特征，但会获得没有细节的结构。通过改变LiDAR/基于图像的深度图的比例，我们找到了一个最佳平衡点，大约为1比4。如果场景中有很多可见特征，包含LiDAR基于深度的图会对重建产生负面影响，除非有助于建立初始比例。图12. LiDAR和基于图像的建模深度图融合。颜色根据模型的法线图进行映射，表示表面面的方向性。

3.6. 数据融合与处理
本研究使用Agisoft Metashape 2.2进行3D重建和融合，目标是生成一个3D辐射热成像马赛克：一个空间对齐的、完全纹理化的3D表面模型，其中许多单独的低分辨率热成像图被组合成一个连续的输出。这种马赛克是前面章节描述的注册和校准流程的最终产品。多传感器融合工作流程专门设计用于在消费级硬件上实现这一输出，并确保每个热成像图的完整16位辐射度量内容在最终模型中得到保留，而不是为了可视化而进行缩放或降级。对于科学研究来说，保持完整的温度信息范围至关重要。通过为媒体导出标准化数值，虽然会丢失细节，但可以即时设置范围以解释异常值，或者调整以观察极端热或冷特征（如电气组件或加热/冷却系统）的变化。为了保持16位热成像图中包含的全部信息，重要的是在3D模型上使用这些原始数值。尝试“着色”点云会导致比马赛克纹理更差的噪声输出。由于本文采用的方法是用RGB图像替换了核心注册的热成像图而不是直接使用热成像图进行重建，因此这个步骤必须在构建网格之后进行。最常见的3D模型纹理化流程不支持这种数据类型，因此采用了某种复杂的解决方法来确保最终3D输出的数据完整性。

FLIR裁剪的RGB图像必须保存在单独的目录中，文件类型和名称应与其对应的TIR图像相同，后者保存在另一个目录中。对齐后，选择FLIR图像组，然后选择“更改路径”选项，接着选择包含相应TIR图像的目录。交换图像后，使用“马赛克”功能进行了标准的“构建纹理”工作流程。在Agisoft中，这种纹理在视觉上不可解析，但它确实包含了完整的16位数值。由于网格格式导出通常不支持16位纹理，因此使用“构建点云”功能，以网格为源，并在5毫米的距离上进行采样。生成的点云可以作为ASCII .XYZ文件导出，保持完整的16位数值。我们创建该文件的副本，并再次使用RGB图像进行相同的过程，以生成匹配的彩色点云，导出为.LAZ格式。需要注意的是，.LAS/.LAZ文件格式虽然支持16位颜色值，但Agisoft导出器并不使用这种格式。在导出.XYZ文件（包含16位温度值）和.LAZ文件之后，将它们导入CloudCompare 2.13.2。在CloudCompare中，16位标量热值被重命名为Intensity。选择.LAZ文件，然后使用“从另一个实体插值”工具将Intensity值转移到.LAZ文件中的相应点上。一些LAZ渲染器在处理十进制格式的Intensity值时存在问题。为了应对这些问题并确保广泛的兼容性，将“Intensity”标量值复制到另一个字段（命名为摄氏度、开尔文或华氏度），然后将其归一化到16位范围内。然后可以导出该文件，保留所有颜色和温度信息，并具有实时梯度操作的功能，以便突出显示感兴趣的特征。接下来将.LAZ文件导入PotreeDesktop 1.8.1 [38]中，可以使用点工具查询每个点及其值（图13）。该程序支持优化的全分辨率点云可视化“合成”视图，允许多个上下文层的叠加。附录A、附录B和附录C中包含了示例，展示了这些结果点云在自定义Potree网络浏览器框架[39]中的显示情况，与额外的数据层一起注册。图13. Potree浏览器中的融合结果，温度通过点显示。颜色映射表明了表面面的方向性。

3.7. 人工智能的使用
在文献回顾的后期阶段，使用了AI工具Claude.ai和Sonnet 4.5大型语言模型[40]来搜索与论文主题高度相关的特定来源。它还被用来对原始文本进行语法校正，以提高清晰度和流畅性，并执行基本的文档格式化任务。本文的作者已经审阅并批准了最终手稿，并对其内容负全责，包括由AI工具生成或修改的内容。

4. 结果
为了在实地测试这些方法，我们进行了两个不同的案例研究，每个研究都使用了不同的采集方法，并在不同的内外部环境之间进行了切换，太阳的影响在那里有显著差异。
第一个案例是在加州大学圣地亚哥分校的Geisel图书馆进行的概念测试，该图书馆以其不规则的形状而闻名。采集分为三个阶段进行，首先使用固定三脚架捕获了570对FLIR One和iPhone“广角”相机（附录B）。存在一些异常情况并且得到了良好的注册，包括安全摄像机的热量以及从门缝中泄漏的冷空气（图14）。在建筑物的北墙上发现了公用管道的痕迹，并得到了设施工作人员的确认。Geisel图书馆的案例研究区域为25.86米×10.81米，最大天花板高度为8.94米。图14. Geisel图书馆的重建，左侧是基于照片的，后来添加了LiDAR数据（左），右侧是热成像马赛克，附带归一化的相对温度颜色图。可以看到分层效果：在某些图像重叠的地方，温度有0.1到0.2度的明显过渡。这可能是由于长时间采集过程中环境温度的变化，或者是由于未正确校正采集距离造成的。更令人困扰的是未能重建一个平面涂层的公用门（图15）。这促使进一步研究了深度传感器的使用。图15. 使用iPhone 12拍摄的公用门图像（左），以及使用Agisoft Metashape重建的结果（右）。后来又收集了26对iPhone相机和FLIR One的数据，这次使用了iPhone TrueDepth前置相机和固定三脚架。由于前置相机朝向摄影师的方向与拍摄者相反，使用起来很困难，导致效果不佳。随后又收集了一组数据，这次使用了八张iPhone“广角”图像的缩小版本和使用Depth Camera RAW应用程序（版本1.1）的LiDAR深度图。选择性整合深度图后，得到了一个表面平滑但高对比度字母上有一些伪影的结果（图16）。图16. Geisel图书馆，颜色根据表面法线的方向性进行映射（左）和基于LiDAR/图像的重建（右）。测试包括应用了相机校准后的FLIR One图像对和未应用校准的情况。未经校准时，特征明显不对齐，特别是当相机朝上指向建筑物边缘时，建筑物的边缘处会投射出一个冷带。

第二个案例是对意大利佛罗伦萨Santa Maria Novella教堂15世纪Brunelleschi讲坛的热成像调查。这次采集更加自由，分别使用高质量成像、深度和其他专业级系统提供的几何信息来捕获热成像数据。支撑木质讲坛的pietra dura柱子上明显的褪色现象，以及较软的石质台阶显示出表面退化，表明该特征可能受到教堂下方通道的渗水影响。进行了3D热成像拍摄，包括207对来自FLIR One的RGB/IR图像，拍摄距离在0.5米到1米之间；422张来自索尼A7 R3无反光镜相机的图像，拍摄距离约为2-3米；17张来自BLK 360 G2的地面LiDAR扫描；以及5张来自Artec Leo结构光扫描仪的高清扫描。讲坛的总高度为5.13米，柱子直径为1.85米。最大观测高度约为2米。所有数据均可在线查看和下载（附件C）。来自索尼无反光镜相机的图像与FLIR RGB和地面LiDAR输入的裁剪图像进行了对齐。FLIR输入被禁用以进行重建，然后被设置为纹理化的默认选项（图17）。尽管在可见区域，热特征似乎对齐得很好，但在某些情况下存在明显的错误，即附近绳索和支柱（用于防止游客过于靠近）的温度被投影到了其背后的模型上。经过遮罩处理后，这些错误被消除了。图17. 布鲁内莱斯基讲坛：摄影测量LiDAR融合（左）与归一化相对温度颜色图的热纹理叠加（右）。由于热量在许多地方以梯度的形式扩散，因此很难量化TIR对齐的误差，但在大理石基座的尖锐表面上，我们可以看到热特征与几何特征匹配得很好。为了比较热异常位置与其对应可见特征的准确性，进行了基于点的分析。尽管模型并不完美，但根据我们的方法，可以合理假设已知配对参考点的投影位置应该与可见范围内未表示的异常具有相同的准确性。选择了十个点，主要位于柱子和雕刻面板的基础周围，这些地方的热特征和可见特征都清晰可辨（表5）。这种方法并不严格，依赖于人类的观察和手动点选择。这种粗略的分析显示平均3D距离为2.77毫米。我们预计误差在3.3-6.5毫米之间，处于0.5米和1米的GSD范围内（表2）。表5. 热异常与相似RGB特征的手动比较。

5. 讨论
在摄影测量网络中逐步应用iPhone LiDAR深度图似乎具有巨大潜力，可以重建那些单独输入难以很好地呈现的特征。iPhone的LiDAR系统基于低分辨率的专有AI辅助流程，这些流程并未公开记录[31]。它们经过优化，用于快速建模，利用专有的深度过滤过程来平均各个输入帧的误差。从这些传感器提取的单独深度图可能存在未解释的误差，例如棋盘目标中的填充像素（图5）。然而，LiDAR在初始缩放方面确实很有用，并且在摄影测量输入具有足够的特征进行对齐但无法进行重建的特定情况下也很有用。这在绘制建筑基础设施的地图时很常见。大型平坦的单色表面（如空荡的室内墙壁）可能包含瑕疵或偶尔的高对比度家具，这些元素可以实现对齐，但不能用于重建表面之间的连接。在这种情况下，可以使用LiDAR生成的深度图来填补数据空白，这些数据不依赖于可见对比元素的存在。市面上可用的工作流程会应用混合流程，在重建后对齐和重建LiDAR和摄影测量点云[19]，但这会留下两种过程的痕迹。本文的结果表明了一种新的流程的实用性，该流程涉及在图像层面注册两种输入，并指出了在深度帧和摄影测量融合方面需要进一步相关研究。

另一个有趣的潜力在于将热成像与深度数据进行共同注册，从而可以根据与传感器的距离进行高度局部化的大气校正。通常这种校正是全局应用于整个图像的，但通过加入深度信息，它可以应用于热成像图的每个单独像素。

与以往的研究相比，最直接类似的研究（即Brea等人[14]、Yang等人[12]和Stojcsics等人[13]）展示了使用低成本传感器进行可行的3D热重建，但他们将辐射测量数据简化为八位归一化输出，放弃了绝对温度信息，转而使用相对视觉表示。这种归一化限制了它们在科学分析中的实用性，因为细小的温度梯度会根据每个场景的温度范围而被压缩或丢失。当前的工作流程的独特之处在于在整个处理链中保留了完整的16位辐射测量值，从原始传感器数据提取到校准、融合以及最终的点云导出，使得在重建表面的任何点上都能进行精确、可重复的温度查询。这一特点对于遗产保护和建筑诊断应用尤为重要，因为微妙的热异常可能预示地下湿度、结构不连续性或隐藏的基础设施，而这些异常的温度差异可能只有一小部分度。

这里呈现的验证是初步的，依赖于视觉检查和少量手动选择的异常-特征对，需要进行更严格的定量评估。使用分布在物体表面上的独立检查点进行结构化的测量活动，这些检查点的位置由外部参考仪器测量，将产生能够更好地表征几何精度的误差统计。辐射测量成分可以并行使用接触式传感器（如热电偶）或在已知位置放置的校准表面探头进行验证，从而可以直接比较校正后的辐射测量估计值和实际测量的表面温度。一个自然的扩展是使用专门的热控点：这些点具有明显的视觉特征和已知的受控热签名，例如固定在调查位置的小型加热或冷却目标。这样的标记同时充当几何检查点和辐射测量参考点，将两种误差评估统一在一个框架内。

处理过程中的误差累积于四个阶段：辐射测量校正、热成像图与RGB图像之间的2D注册、表面的摄影测量重建以及将注册的热纹理投影到该几何结构上。辐射测量的不确定性主要由假设的表面发射率和反射的表观温度决定，对于高发射率的建筑材料，这可以将绝对温度误差限制在几分度之内，而不影响异常检测的基础相对热对比度。如第3.4节所量化的，注册误差在典型检查距离下会导致几毫米到几毫米的横向位移。摄影测量重建误差受图像重叠和特征密度的影响，主导了最终模型的几何不确定性，通常在几毫米范围内。由于每个阶段在不同的领域（温度、图像平面像素和3D表面几何）中工作，因此最终模型中任何给定量的主要贡献来自最直接相关的阶段，而不是各个阶段的累积效应。

然而，这种方法论和传感器组合存在显著的限制，阻碍了其大规模应用。一般来说，马赛克方法的一个主要缺点是捕获时间和热环境的动态特性。由于需要创建许多输入来覆盖大面积空间，因此在每次捕获之间捕获的异常可能会发生变化。捕获距离也是另一个主要限制。iPhone LiDAR深度图和FLIR One热成像图的分辨率较低（256 × 192像素和160 × 120像素），这要求非常接近的操作距离才能提取有意义的数据。这些限制使得该系统仅适用于天花板较低且特征允许近距离接近的环境。除了图像分辨率外，iPhone的VCSEL传感器的有效范围上限为5米，超过这个距离后测量结果变得不可靠。

显然有必要改进和定制处理流程。目前的方法使用agisoft Metashape，它采用了一种深度图加权系统，该系统过度倾向于使用来自LiDAR的低分辨率直接测量深度图，而忽略了通过摄影测量获得的高分辨率衍生深度图。需要优化这种加权方式，以便优先选择高质量的特征。此外，在早期的棋盘测试中观察到的未解释异常（图5）对LiDAR深度图的准确性提出了严重质疑，使我们不得不依赖于一个未公开文档的专有软件系统的解释。

6. 结论
本文提出了一种使用低成本移动传感器堆栈创建3D辐射测量热成像马赛克的方法，将iPhone LiDAR和RGB数据与FLIR One Pro热成像图像相结合。工作流程表明，通过仔细的校准、开源数据提取和在成熟的摄影测量流程中的多传感器融合，可以使用消费级设备实现热成像文档记录。两个案例研究验证了这种方法的有效性，实现了几毫米内的热学与几何学的精确注册。所介绍的开源工具和方法论能够在保持整个处理链中16位热数据完整性的同时，实现可重复的科学分析。