《Developments in the Built Environment》：Training data scaling and specificity: An empirical study of computer vision performance in multi-stage built environments
编辑推荐：
中文摘要翻译：虽然建筑领域的计算机视觉通常假设更大的训练数据集能够获得更好的模型性能，但研究人员提出假设：优先采用针对不同施工阶段定制的阶段专用训练图像，比单纯扩大数据集规模更为关键。这一点在多阶段建成环境中尤为重要，因为从土方工程、基础工程、主体结构到装修工
中文摘要翻译：虽然建筑领域的计算机视觉通常假设更大的训练数据集能够获得更好的模型性能，但研究人员提出假设：优先采用针对不同施工阶段定制的阶段专用训练图像，比单纯扩大数据集规模更为关键。这一点在多阶段建成环境中尤为重要，因为从土方工程、基础工程、主体结构到装修工程，视觉场景背景在整个项目生命周期中会发生显著演变。因此，研究人员实证研究了数据规模与阶段特异性在多阶段施工场景中对模型性能的交互影响。研究人员构建了全合一（all-in-one）和阶段专用（stage-specialized）的训练数据集，在不同规模下训练YOLOv8工人检测器，并在13个阶段、动态施工环境中评估其性能。结果表明，阶段专用模型在所有阶段均持续优于全合一模型，展现出卓越的可检测性（例如，在10,000个训练实例下平均平均精度（Average Precision, AP）高出4.5%），同时减少了对大规模数据扩展的依赖。这表明，针对数据特异性而非单纯数据量进行优化，能够在施工中实现更有效的模型部署。
论文解读：
一、研究背景与问题
深度学习驱动的计算机视觉技术正成为建筑环境领域迈向机器人自动化与数字化转型的关键驱动力。该技术能够帮助项目管理者数字化记录现场工作资源的定位与活动、监控施工进度、评估工地生产力，并在优化运营效率与确保安全合规方面发挥重要作用。然而，现有研究普遍遵循一个传统假设：训练数据集规模越大，模型性能越好。基于这一假设，以往研究致力于收集大量训练图像，构建具有最大视觉多样性的综合性"全合一"（all-in-one）数据集。
这一数量导向的假设虽然在一定程度上行之有效，却往往忽视了真实建成环境的动态本质——从土方工程、基础工程、主体结构到装修工程，视觉场景背景在整个项目生命周期中不断演变。在现有研究中，训练图像数据集通常是静态固定的，而测试环境的数据分布却随着时间推移逐阶段动态演化。这一忽视已成为计算机视觉在真实施工场景中应用的主要障碍。基于此，研究人员提出了替代性假设：优先采用针对不同施工阶段定制的阶段专用（stage-specialized）训练数据集，将比单纯扩大数据集规模更为有效。
尽管两种假设在理论上均具有科学合理性，但在动态建成环境中二者的比较优势尚未得到充分探索。这主要源于缺乏对训练数据规模与阶段特异性如何影响不断演变的施工环境中计算机视觉性能的系统研究。为填补这一空白，研究人员实证研究了训练数据扩展与特异性在多阶段施工场景中对计算机视觉性能的交互影响，并围绕三个核心问题展开：全合一数据集与阶段专用数据集在各自施工阶段中哪个能带来更优的模型性能？两种假设的比较优势如何随数据集规模变化？何种训练图像数据集准备策略能确保在整个施工项目生命周期中保持稳健性能？
二、研究设计与方法
研究人员以建筑工人检测为研究对象，因其是推动施工项目的关键主体，且目标检测是计算机视觉的基础任务。研究采用YOLOv8（You Only Look Once第八版）的nano变体（YOLOv8n）作为检测架构，因其在检测精度与计算效率之间达到最优平衡。
在数据准备方面，研究人员首先采用公开可得的MOCS（Moving Objects in Construction Sites）数据集，包含23,404张图像，经筛选后获得17,798张含工人实例的图像，并人工将其分类为土方工程、基础工程、主体结构、装修工程及其他五类。由于装修工程类别初始仅含9个工人实例，研究人员额外从Google、Depositphotos和iStock等在线来源收集并标注了装修工程图像，最终获得6,892张图像和12,004个工人实例，使四类活动达到相对均衡：土方工程（6,307张图像，22,092个实例）、基础工程（4,909张图像，35,317个实例）、主体结构（4,354张图像，22,257个实例）和装修工程（6,897张图像，12,013个实例）。
基于分类后的图像，研究人员构建了三类数据集。全合一训练数据集包含40,000个工人实例，四类活动各占25%，体现传统的数据扩展假设。阶段专用训练数据集共13个，模拟建筑项目从土方工程到装修工程的顺序推进过程，数据组成以25%的间隔逐步变化，涵盖单一活动进行（100%）、一种活动主导（75%+25%）和两种活动同时进行（50%+50%）三种常见场景，每个数据集均含10,000个实例。阶段测试数据集同样13个，每个包含2,000个实例，数据组成逐阶段动态变化，且测试数据严格排除于训练数据之外。
三、研究结果
实验一：同等数据集规模下全合一与阶段专用数据集的有效性比较
该实验在相同数据集规模（10,000个训练实例）下分别训练全合一和阶段专用模型，并在相同的13个阶段测试数据集上评估性能。结果显示，阶段专用模型在所有测试阶段、所有评估指标上均持续优于全合一模型。平均而言，阶段专用数据集在平均精度（Average Precision, AP）上高出4.5%，在更严格的IoU（Intersection over Union）阈值下分别高出5.4%和4.7%，在均值平均精度（mean Average Precision, mAP）上高出4.4%。定性分析表明，阶段专用模型成功识别了全合一模型遗漏的工人，且未产生全合一模型将非工人对象误判为工人的假阳性，同时展现出更高的置信度分数（0.84对比0.74）。
实验二：数据集规模对模型性能的影响
该实验将训练实例从2,000逐步扩展至10,000，间隔2,000，对两种数据集分别训练模型；全合一数据集进一步扩展至16,000、24,000、32,000和40,000个实例。结果显示，随着数据集规模增加，两种数据集的模型性能均稳步提升，但阶段专用数据集在每一规模水平上均持续优于全合一数据集。以AP为例，性能差距随规模增长逐步扩大：2,000实例时为1.6%，4,000时为2.6%，6,000时为3.1%，8,000时为4.2%，10,000时为4.5%。尤为值得注意的是，阶段专用数据集以10,000个实例即可达到甚至超越全合一数据集24,000个实例的性能水平，且在13个测试阶段中的7个阶段，其AP甚至高于全合一数据集40,000个实例的表现。
实验三：全合一与阶段专用模型在整个项目生命周期中的稳健性评估
该实验将各模型在所有13个测试阶段上进行评估，采用平均性能与标准差（Standard Deviation, SD）两个指标衡量稳健性。结果显示，阶段专用模型在其对应测试阶段表现最佳，但在其他阶段出现显著性能下降；例如，仅含土方工程图像的阶段专用模型1在阶段1表现最优，但从阶段6至阶段13表现最差。相比之下，全合一模型展现出最高的平均性能和相对较低的SD值，表明其在项目生命周期中具有更强的稳健性。研究人员指出，这一结果与测试数据分布密切相关——对所有模型在所有阶段进行评估，本质上将测试数据聚合为四类活动各占25%的均衡分布，全合一数据集恰好与该聚合场景相匹配，因此并不否定阶段特异性训练的核心价值，反而为根据项目具体阶段定制数据集组成提供了新的实证依据。
四、讨论与结论
讨论部分指出，阶段专用数据集的优势可从根本上归因于数据分布对齐及其对模型特征提取动态的积极影响。通过严格对齐训练数据分布与目标视觉背景，模型被迫聚焦于各阶段特有的视觉语义变化，从而高效捕捉阶段特有的细微视觉线索。相比之下，全合一数据集虽然覆盖面更广，但混合各阶段数据会稀释阶段特有特征，并在优化过程中引入冲突的视觉梯度，降低模型对阶段细微差别的敏感度。研究还强调，阶段专用数据集不仅显著减少数据收集工作量，还能为每个施工阶段提供更精确的模型，这种数据效率对数据准备劳动密集且耗时的真实施工应用尤为关键。
研究结论表明，在动态建成环境中，优先采用针对特定施工阶段定制的训练图像比单纯扩大数据规模更为有效。阶段专用模型在同等数据规模下持续优于全合一模型，且能以更少的数据实现相当甚至更优的性能。然而，全合一模型在跨阶段稳健性方面更具优势。因此，最佳的数据准备策略应根据具体应用场景权衡：若目标阶段明确，应采用阶段专用数据集以最大化阶段性能；若需覆盖整个项目生命周期，则应考虑均衡分布的全合一数据集以确保稳健性。这些发现为未来在真实动态建成环境中构建支持稳健AI视觉系统的训练图像数据集提供了重要参考。
