《ADVANCED ENGINEERING INFORMATICS》：Gaze-driven mixed reality for dimensional quality assessment of timber components using a few-shot RGB-D vision foundation model
编辑推荐：
•混合现实框架实现了预制木材的现场尺寸质量检测。•LoRA仅使用5-20张带注释的训练图像就适配了一个视觉基础模型。•双骨架RGB-D融合方法将分割mIoU提高了5.3%。•在匹配的密度下，基于注视的提示比手动放置更有效（p < 0.001）•在Microsoft HoloLen
- •
混合现实框架实现了预制木材的现场尺寸质量检测。
- •
LoRA仅使用5-20张带注释的训练图像就适配了一个视觉基础模型。
- •
双骨架RGB-D融合方法将分割mIoU提高了5.3%。
- •
在匹配的密度下，基于注视的提示比手动放置更有效（p < 0.001）
- •
在Microsoft HoloLens 2上，端到端的质量检测耗时898.8毫秒，误差率为0.97-1.52%。
引言
建筑行业采用了离场制造和模块化组装技术，包括预制混凝土建筑（PPVC）和大规模木材系统[1]、[2]、[3]，这要求预制构件的几何公差达到毫米级别。承重木材构件的验收标准通常在±5-10毫米范围内，而构件之间的间隙可以小至±2-3毫米[4]。即使在安装过程中出现微小的尺寸偏差，也会导致接头错位、组装延迟和昂贵的返工[5]。尤其是大规模木材构件，它们具有天然的变异性、各向异性的纹理以及受湿度影响的尺寸变化[6]、[7]。截面、边缘直线度或表面平整度的偏差会在多层结构中累积，任何从安装到验证之间的延迟都会加剧这种误差[8]。因此，快速、精确且适用于自动化的构件级几何质量检测（QA）对于保持结构完整性、组装效率以及预制技术的长期适用性至关重要。
传统的QA程序仍然受限于手动工具。卷尺测量和水准仪使用效率低下、容易出错，并且难以与数字化施工流程集成[4]，对于高处或缺乏通道的构件来说，这些方法还不安全或不切实际。在非接触式方法中，地面激光扫描（TLS）可以在几分钟内获取数百万个测量点，大大缩短了测量时间[9]、[10]、[11]。然而，TLS也有其局限性：密集点云的后处理通常需要数小时，设备需要仔细设置和校准，现有的算法在处理细微几何特征、复杂交点和现场典型环境干扰（如光照变化和部分遮挡）时表现不佳。因此，从数据获取到决策的延迟使得TLS不太适合常规的、时间敏感的构件级检测。
混合现实（MR）作为一种有前景的空间计算平台的出现，通过在检测过程中进行现场尺寸测量来解决了这一延迟问题。通过将数字几何信息直接叠加在物理构件上，MR实现了现场偏差的可视化及即时决策[12]、[13]、[14]、[15]，最近与计算机视觉流程的集成还实现了视野范围内的感兴趣区域（ROI）分割和尺寸提取[18]、[19]。然而，由于三个障碍的存在，完全自动化的基于MR的QA系统在实地应用中仍然很少见。首先，是数据适配障碍：对于新类型的构件，很少有足够的项目级带注释数据集来训练传统的分割网络，即使是像Segment Anything Model（SAM）系列这样的零样本视觉基础模型（VFMs）[20]、[21]、[22]，在特定的建筑纹理、材料和几何条件下也会表现出显著的性能下降。其次，是感知鲁棒性障碍：当前的MR流程仅依赖于RGB输入，在光线不足、纹理模糊、遮挡和建筑环境中常见的复杂空间几何条件下会丧失准确性。第三，是交互效率障碍：基于提示的分割模型需要用户明确提供ROI位置，分割精度随着提示密度的增加而提高[22]、[23]；然而，MR流程通过基于手势的“空气点击”交互提供这些提示，这种交互速度慢且容易使操作者疲劳，实际上限制了可用的提示数量。
为了解决这些障碍，提出了一个用于预制木材构件尺寸质量检测的端到端MR框架。该框架整合了三项关键技术：
- 1.
通过LoRA实现少样本领域适配。
基于低秩适配（LoRA）的参数高效微调策略，能够从5到20张带注释的图像中迁移VFM分割模型，从而解决专用建筑环境中数据稀缺的问题。 - 2.
双骨架RGB-D融合。
一种双流架构，通过交叉注意力结合视觉纹理（RGB）和三维几何结构（深度），在单模态流程失效的情况下保持分割质量。 - 3.
免提的、与视线对齐的基于注视的提示。
将检查者的视线转换为密集的分割提示，即使在对齐密度下，其空间分布也优于手动提示，消除了手动输入的瓶颈，并提供了纯粹的交互时间节省无法替代的监督质量。
这三项技术并不是独立的贡献，而是针对一个共同约束条件的协同设计：在MR渲染所规定的亚秒级交互时间内提供高保真的尺寸质量检测。这一共同约束将三个模块联系在一起。满足延迟要求需要一个轻量级的分割模型，这反过来又加剧了数据稀缺问题，使得参数高效的适配变得必要而非可选项。这个轻量级的模型仅限于RGB输入，缺乏处理低纹理木材表面所需的感知鲁棒性，而深度融合分支则以最小的参数和延迟成本提供了所需的鲁棒性，而不是通过扩展模型来实现。深度融合又受益于更密集的分割提示，这是手势输入无法提供的，而视线则作为检测行为的自然副产品提供了这些提示。因此，每个模块都填补了其他模块所带来的空白，移除任何一个都会破坏其余两个模块的设计前提。该框架是一个由共同部署约束塑造的统一系统，而不是由独立组件堆叠而成的。
该框架在两个具有不同建筑风格的现场的预制木材柱上进行了评估，评估涵盖了多种环境和几何条件。评估包括与四种现代VFM基线的分割性能比较、对基于注视的提示机制的密集测试，以及一项包含16名参与者的用户研究。结果显示，该框架在Microsoft HoloLens 2平台上的测量精度在±2%的工程公差范围内，端到端响应时间小于秒级，同时显著减少了操作者的交互工作量。
尽管本文以木材为例进行了实验，但三个组成部分都不依赖于木材特有的假设。这种架构独立于材料特性，表明通过针对每个领域的少样本微调，该框架可能适用于其他类型的预制构件，尽管本研究未进行跨材料验证，但这将是未来的研究方向。
本文的其余部分组织如下：第2节回顾了先前的工作和技术基础；第3节描述了所提出的框架；第4节报告了实验设计和结果；第5节讨论了影响、部署考虑和局限性；第6节进行了总结。
章节摘录
传统的非接触式QA系统
在预制建筑构件的几何质量检测中，地面激光扫描（TLS）是最突出的方法之一。早期的研究通过将TLS点云与边缘检测算法结合，实现了预制混凝土板的尺寸自动化检测[10]，随后与建筑信息模型（BIM）的整合进一步扩展了工作流程，涵盖了接头尺寸和表面质量的评估[24]。此后，TLS方法已被应用于各种专业建筑领域
提出的基于MR的QA系统概述
所提出的框架是一个端到端的基于MR的QA流程，整合了三个操作阶段：前端数据采集（使用基于注视的提示）、服务器端的少样本RGB-D分割和设备上的空间测量。在部署架构方面，该框架作为一个远程辅助的MR系统运行，而不是完全边缘部署的系统：数据采集、注视提示、空间计算和全息渲染都在设备上完成，而计算量较大的部分
实验设计和结果
本节通过分割模型基准测试、注视机制的消融研究、系统级验证和用户体验评估来评估所提出的框架。
对建筑信息学的影响
在工业化木材的建筑信息学领域，这项工作填补了现场尺寸质量检测中的长期空白。实现毫米级精度的流程，包括摄影测量和地面激光扫描，都需要几分钟到几小时的后期处理，这导致测量决策时刻被推迟[4]、[8]、[10]。实时运行的方法，如全站仪和基于卷尺的手动测量，虽然效率高，但依赖操作者的参与度较高，且覆盖范围有限。
结论
本文提出了一个用于预制木材构件尺寸质量检测的端到端混合现实框架，解决了之前基于MR的QA系统面临的三个障碍：项目级训练数据有限、在恶劣现场条件下仅依赖RGB的感知能力，以及基于手势的提示输入对分割监督的限制。这些贡献不是三个独立的添加，而是对一个共同约束条件的协同设计
张子恒：写作 - 审稿与编辑、初稿撰写、可视化、验证、软件开发、方法论设计、数据整理、概念构思。杨晓飞：写作 - 审稿与编辑、监督、方法论指导。傅玉光：写作 - 审稿与编辑、监督、资源协调、项目管理、方法论指导、资金争取。Tarutal Ghosh Mondal：写作 - 审稿与编辑、监督、方法论指导。
作者声明他们没有已知的可能影响本文工作的财务利益或个人关系。
本研究/项目得到了新加坡教育部一级拨款（编号RG146/23和南洋理工大学2024年跨学科主任基金（编号03INS002320C120的支持。
Ziheng Zhang|Xiaofei Yang|Yuguang Fu|Tarutal Ghosh Mondal
