基于域适配视觉-语言融合(Domain-Adapted Vision-Language Fusion, DA-VLF)的施工视频中作业人员动作自动识别方法

《AUTOMATION IN CONSTRUCTION》：Automated worker action recognition in construction videos via domain-adapted vision-language fusion

　　

摘要：施工现场作业人员动作的有效识别对于监测不安全行为、确保作业流程合规性及分析生产力至关重要。尽管计算机视觉技术通过利用视频中的时空特征超越了传统人工观察方法，但在复杂环境下仍面临识别精度、泛化能力及语义理解方面的挑战。为此，本文提出一种用于施工视频中工人动作识别的域适配视觉-语言融合(Domain-Adapted Vision-Language Fusion, DA-VLF)方法，该方法利用预训练视觉-语言模型(Vision-Language Model, VLM)的时空视觉语义理解能力。在COA（以操作活动为中心）和CMA（以不安全行为为重点）数据集上的验证表明，DA-VLF的平均精度(Average Precision, AP)分别达到95.39%和95.44%，较现有领先基于视觉的方法分别提升8.73%和8.84%。该方法同时展现出稳健的少样本学习(Few-Shot Learning)性能。本文为工人动作识别提供了新视角，表明域适配的大型多模态模型(Domain-Adapted Large Multimodal Model)在施工管理中具有优势，并在基于视频的识别任务中具有实际应用潜力。

论文解读：《基于域适配视觉-语言融合的施工视频中作业人员动作自动识别》

本研究发表于《AUTOMATION IN CONSTRUCTION》。建筑业因高处作业、机械交互频繁被视为高危且低效行业，超80%事故归因于工人不安全行为。传统现场监控依赖人工巡查，耗时费力且易遗漏。现有基于计算机视觉(CV)的动作识别方法多基于骨架关键点结合长短期记忆网络(LSTM)或纯Vision Transformer(ViT)，前者易丢失视觉语义上下文且受限于关键点检测精度，后者需大量标注数据且缺乏语义解释能力，无法直接利用跨模态知识。通用预训练视觉-语言模型(Vision-Language Model, VLM，如Qwen2.5-VL、InternVL3)虽具强语义理解力，但因预训练数据与工地监控画面差异大（光照、遮挡、视角），直接迁移效果受限，且多针对单图设计，未充分考虑视频时序动态。为填补此空白，研究人员开展了域适配视觉-语言融合(Domain-Adapted Vision-Language Fusion, DA-VLF)方法的研究。

主要关键技术方法：

研究人员采用ViT-MLP-LLM架构的开源VLM（Qwen2.5-VL系列及InternVL3系列）作为基座模型，冻结主干权重。视频处理阶段对原始施工视频分段标注形成COA数据集（8类操作动作，720段）与CMA数据集（7类不安全行为，含增强后1595段），按固定帧率采样并统一分辨率。域适配阶段设计施工领域任务指令(Prompt)，嵌入安全规范与动作类别定义；采用量化低秩适配(Quantized Low-Rank Adaptation, QLoRA, rank=8)在LLM各层注入可训练适配器(Adapter)，仅更新低秩矩阵A、B，以交叉熵损失进行端到端微调。评估指标包括准确率(Accuracy)、精确率(Precision)、召回率(Recall)、F1值及平均精度(Average Precision, AP)，并设置不同基座尺寸、输入像素预算(256×256至768×768)、帧采样率、少样本(2/5/10样本每类)及低光照与遮挡鲁棒性测试。

研究结果

5.1. Performance of DA-VLF using different base models（不同基座模型的DA-VLF性能）

研究人员在COA与CMA数据集上测试了InternVL3(1B/2B/8B/14B)及Qwen2.5-VL(3B/7B)为基座的DA-VLF表现。结果显示未经微调的基座模型零样本(zero-shot)性能极差（COA仅16.67%准确率），微调后所有模型在第3轮epoch快速收敛。InternVL3系列整体优于同参数量Qwen2.5-VL，其中InternVL3-8B在COA达最优Accuracy 94.79%、Precision 95.39%、F1-score 94.77%；InternVL3-14B在CMA达Accuracy 96.67%、AP 95.44%。大模型参数量增大通常提升性能但边际效益递减，小模型配域适配亦可达较高精度（InternVL3-1B在COA达90.80%）。

5.2. Impact analysis of input pixel budget variations（输入像素预算变化的影响分析）

研究人员考察最大像素预算256×256、512×512、768×768对InternVL3-8B的影响。COA数据集中需区分精细手部操作的动作（如LiftBrick、LiftRebar）对分辨率敏感，256×256时Accuracy降至89.93%，512×512时升至94.44%接近饱和；CMA数据集中全身姿态类动作对分辨率不敏感，256×256已达94.26%。超过512×512后精度增益微弱（COA仅+0.35%，CMA+0.19%），说明512×512为性价比最优。

5.3. Frame sampling rates effects on model performance（帧采样率对模型性能的影响）

对于长视频COA数据集（默认2帧/秒），采样率从0.5提至2帧/秒Accuracy由92.36%升至94.79%；短视频CMA数据集采样4或8帧/秒均达95.00%，16帧/秒微升至96.11%。表明足够捕捉连续时序特征后增采样率收益递减。

5.4. Few-shot learning capability assessment（少样本学习能力评估）

研究人员以每类2、5、10个原始样本训练。COA数据集2样本即达Accuracy 71.53%（较零样本+54.86%），10样本达89.93%；CMA数据集2样本达80.74%。说明DA-VLF通过VLM预训练知识与域适配可高效利用少量标注数据，适合工地罕见动作场景。

5.5. Robustness assessment under adverse site conditions（不利现场条件下的鲁棒性评估）

在模拟低光照与随机遮挡测试中，COA数据集低光照下Accuracy降4.16%至90.63%，遮挡降2.43%至92.36%；CMA数据集两者均降2.78%至92.22%。所有恶劣条件下Accuracy仍>90%，证明方法对常见工地干扰具强鲁棒性。

5.6. Comparison with SOTA methods（与现有先进方法对比）

COA数据集上DA-VLF(InternVL3-8B) AP=95.39%，超越纯视觉方法(86.66%)与加速度方法(85.66%)，仅略低于视加速度融合方法(96.44%)但免去多传感器部署；CMA数据集上DA-VLF(InternVL3-14B) AP=95.44%，超越ViT-L(83.7%)、MViT-B(85.0%)及STR-Transformer(86.6%)，提升幅度达8.84%。

讨论与结论翻译

讨论指出DA-VLF与基座VLM呈互补关系——域适配通过任务对齐指令微调增强施工特定表征，轻量基座配适配器亦可兼顾精度与推理速度（InternVL3-1B达0.890视频/秒）。输入参数与帧率存性能饱和点可供部署优化。少样本能力与抗干扰性满足实际工地需求。局限性含数据集规模与类别覆盖有限、大模型边缘端部署显存要求高、极精细手部位移区分受帧压缩影响、缺实地工程试点验证。

结论：本文提出DA-VLF方法用于施工视频中工人动作识别，通过在预训练VLM(ViT-MLP-LLM)中插入可训练域适配器(Domain Adapter)并以施工领域指令引导实现视听-语言融合。在COA与CMA数据集上平均精度分别达95.39%与95.44%，较先进视觉方法提升8.73%与8.84%，且具少样本学习能力（每类2样本COA达71.53%、CMA达80.74%）。结果表明域适配大型多模态模型可有效理解复杂现场动态，为施工管理中的工人动作识别提供高效可靠方案。未来研究将扩展施工活动数据集、开发自适应关键帧与分辨率调整机制，并在实地视频流中验证进度追踪与安全监控效能，探索在四足机器人与无人机等移动边缘设备上的部署。