综述:面向辅助技术应用的鲁棒计算机视觉工地检测

《Disability and Rehabilitation: Assistive Technology》:Robust computer-vision based construction site detection for assistive-technology applications

【字体: 大 中 小 】 时间:2026年02月03日 来源:Disability and Rehabilitation: Assistive Technology 1.9

编辑推荐:

  目的:城市环境导航对盲人和低视力人群构成显著挑战,施工区域因存在不平整路面、障碍物、危险材料、强噪声及路径变更等隐患,易破坏熟悉路径并威胁安全。现有导航工具虽可辅助行程规划,但常忽略此类临时性障碍,既有危险检测系统亦难以应对工地视觉特征的多样性。方法:研究人员

  
目的:城市环境导航对盲人和低视力人群构成显著挑战,施工区域因存在不平整路面、障碍物、危险材料、强噪声及路径变更等隐患,易破坏熟悉路径并威胁安全。现有导航工具虽可辅助行程规划,但常忽略此类临时性障碍,既有危险检测系统亦难以应对工地视觉特征的多样性。方法:研究人员开发了一种基于计算机视觉的辅助系统,集成三大模块:用于识别多样化施工相关要素的开放词汇目标检测器、专用于检测脚手架与立柱的YOLO模型,以及用于解析施工标识的光学字符识别模块。结果:在7个工地的静态测试中,基于多固定视角的图像分析,系统总体准确率达88.56%,可在2–10 m距离及最高75°接近角范围内稳定识别相关目标;2–4 m距离下全角度检测准确率为100%;10 m距离下,7个工地中有6个在15°接近角内仍可检测。在0.5英里城市路线的动态测试中,系统对第一视角步行视频逐帧分析,区分工地与非工地区域的准确率为87.26%,采用50帧多数投票滤波后准确率提升至92.0%。结论:该系统可实时、远距离可靠检测工地,为视障人士提供提前预警,支持其做出更安全的出行决策,如谨慎通行或绕行。
引言
美国大都市区居住着近三分之二的残疾成年人,城市无障碍成为重要的公共议题。尽管公共交通与包容性基础设施不断完善,盲人和低视力人群(pBLV)的独立出行仍面临显著障碍,其中“首末一公里”问题尤为突出——从交通枢纽到目的地的短距离路径常因不可预测的街道设施、违停车辆、无障碍通道缺失及施工区域而中断。施工区域作为城市扩张的常态特征,对pBLV构成特殊威胁:纽约市日均活跃工地超1100处,人行道防护棚覆盖人行道总长达400英里,其引入的不平整路面、障碍物、噪声及路径阻断会破坏空间记忆、掩盖听觉线索并迫使突然改道。现有导航应用多关注主干道封闭或交通中断,难以覆盖小型临时施工项目;传统基于卷积神经网络(CNN)的计算机视觉检测依赖固定标注数据集,难以应对施工对象的跨城市差异与动态变化,且多数研究聚焦于监控视频分析而非实时行人预警。本研究旨在开发面向行人的开放词汇计算机视觉工地检测系统,通过融合开放词汇检测、专用YOLO模型与光学字符识别(OCR)技术,为pBLV提供关键节点的及时预警,支持其在安全位置做出绕行、等待或谨慎通行等决策,而非被动依赖陌生人协助或冒险改道。研究假设单一检测模块无法覆盖施工要素的视觉多样性,多模块融合可提升检测的准确性与鲁棒性。
方法
工地检测框架
研究构建了包含三大检测管道的决策框架:人行道脚手架检测、施工相关目标检测与施工标识检测,并通过混合规则整合多管道输出以提升复杂场景下的推断可靠性。人行道脚手架检测针对纽约市常见的临时防护结构,其顶板因纹理单一、对比度低难以直接识别,研究选择垂直支撑与斜撑作为检测目标——理论上稳定脚手架需至少6根钢立柱,系统设定检测到≥5根脚手架立柱(含垂直支撑与斜撑)即判定为工地。施工相关目标检测以交通护栏、锥形桶、施工隔墙等典型要素为依据,设定检测到≥3个施工相关目标为工地判定阈值,以平衡灵敏度与特异性。施工标识检测通过OCR识别“施工区域”等明确文本,单张相关标识即可确认工地存在。针对遮挡、光照变化等导致的单管道失效问题,研究提出混合判定规则:脚手架立柱与施工相关目标合计≥5个即判定为工地,该阈值通过标注数据的探索性分析确定,可避免非施工场景中随机目标的误触发。
人行道脚手架检测
为区分脚手架立柱与路灯杆、窗框等视觉相似物,研究人员训练了专用YOLOv8模型。数据集包含447张多场景、多光照条件下的标注图像,按80/20划分为训练集与验证集,标注类别包括脚手架立柱与水平脚手架构件,总标注量达4890个。模型训练100轮后在验证集上达到mAP@50为0.720、mAP@50–95为0.506的性能,推理阶段置信度阈值设为0.250、交并比(IoU)阈值设为0.700,水平脚手架与立柱的精确率/召回率分别为0.683/0.604与0.789/0.717。
施工相关目标检测
研究采用YOLO-World作为开放词汇目标检测模型,其通过视觉-语言建模突破传统YOLO的预定义类别限制,在NVIDIA V100 GPU上可达52.0 FPS,LVIS数据集零样本检测平均精度达35.4,微调后可部署于NVIDIA Jetson等边缘设备。为适配施工场景,研究人员构建了包含“交通锥”“橙色白色条纹交通护栏”“绿色施工墙”等多描述词的专用词汇表,通过多术语覆盖应对光照变化与颜色感知差异。针对开放词汇检测易出现的过泛化问题,研究引入“汽车”“消防栓”“草地”等空类别以收紧决策边界,减少相似目标的误分类。同时,基于目标视觉特征差异设置分层置信度阈值:绿色施工墙等低对比度目标采用0.005–1.0阈值,交通护栏等中等置信度目标采用0.03–1.0阈值,交通锥等高误报风险目标采用0.12–1.0阈值,以平衡召回率与精确率。
施工标识检测
研究选用PaddleOCR 3.0作为文本识别引擎,通过构建包含64个唯一字符串的施工标识词典(如“授权人员方可进入”“注意:施工区域”)过滤无关文本。采用S?rensen-Dice系数计算OCR输出与词典条目的相似度,设定0.8为匹配阈值,可容忍OCR识别误差、缩写或措辞变化,确保“roadwrk Ahead”等变体仍能正确匹配“Road Work Ahead”等标准标识。
实验设置
实验采用VIS4ION可穿戴系统采集数据,该系统搭载Arducam 1080P低光超广角USB相机(30 fps,1920×1080分辨率,160°对角线视场)与NVIDIA Jetson Orin NX处理单元,所有计算均在设备端完成。静态测试在纽约市7个典型工地开展,每个工地按0°、15°、30°、45°、60°、75°共6个角度与2、4、6、8、10 m共5个距离设置测量点,志愿者在每个点稳定拍摄5秒,提取首帧清晰图像进行评估,指标包括总体准确率、角度偏移与距离衰减特性。动态测试在布鲁克林市中心0.5英里典型城市路线开展,包含8个工地,志愿者以自然步行速度采集9分钟视频,人工标注每帧是否包含行进路径上的工地——定义施工相关目标占据图像高度或宽度≥3%时为“工地帧”,该阈值对应10 m距离下交通锥的可识别尺寸。为提升时序一致性,研究采用滑动窗口多数投票对逐帧预测进行后处理,窗口大小K从1到100帧进行调优;同时提出事件级评估方法,定义30帧(1秒)窗口内≥10帧正检测为一次报警事件,间隔≥30帧的独立事件方视为有效报警,以更贴合用户实际感知。
结果
静态测试
7个工地共210个测量点的总体检测准确率为88.56%。角度偏移分析显示,0°–30°范围内准确率稳定在91.4%,75°时降至77.1%,表明近正面视角检测性能更优。距离衰减分析显示,2–4 m距离准确率为100%,6、8、10 m距离准确率分别为95.2%、83.3%、64.3%,远距离小目标检测难度显著提升。按工地类型细分,含隔墙、锥形桶、 barrels的工地全测量点准确率达100%;脚手架主导工地仅在10 m、75°条件下出现检测失败;护栏主导工地则在10 m多角度及8 m、75°条件下性能下降;OCR模块仅在4 m内可实现稳定文本识别。
动态测试
14,867帧视频中,4038帧为工地帧,10,829帧为非工地帧。基线逐帧检测准确率为87.26%,精确率74.50%,召回率80.73%,F1值77.49%。时序多数投票分析显示,K=50帧时F1值达85.5%,K=90帧时达峰值87.6%,但提升幅度有限且延迟增加近一倍,综合考虑实时性需求,50帧窗口为最优选择,此时准确率提升至92.0%。消融实验表明,移除YOLO-World或脚手架YOLO模块均导致检测率显著下降,OCR模块单独使用覆盖率极低,验证了多模块融合的必要性。事件级评估显示,全程共触发28次报警事件,其中14次为真阳性,14次为假阳性;若排除对街工地与临时施工对象的“技术性误报”,纯误报仅4次,对应误报率为0.4次/分钟,表明系统在真实场景中误报控制良好。
讨论
静态测试证实系统在近距离、近正面视角下检测可靠性最高,大尺寸、高对比度目标(如施工隔墙、锥形桶)表现最优,小尺寸或视觉复杂目标(如护栏、标识)在斜角或远距离下性能下降。动态测试中时序多数投票有效平滑了运动模糊、遮挡等瞬时噪声,50帧窗口在准确率与延迟间取得最佳平衡。OCR模块虽对整体准确率提升有限,但在视觉模糊场景下可通过明确文本提供确定性验证,仍具重要辅助价值。过泛化导致的误报(如将窗框误判为脚手架立柱)通过专用YOLO模型得到有效抑制。
误报分析表明,帧级评估会高估用户感知的误报率,多数误报源于对街工地(标注为负样本但系统正确识别)或临时施工对象(如用于占位的锥形桶),纯模型错误导致的误报仅0.4次/分钟。漏报主要源于三类因素:运动模糊(快速转向时帧清晰度下降导致脚手架立柱漏检)、施工对象外观突变(如涂鸦覆盖绿色隔墙破坏视觉特征)、OCR距离限制(10 m外标识文本因相机无自动对焦功能而模糊)。针对运动模糊,可集成惯性测量单元(IMU)检测高角速度时段并跳过模糊帧,或采用峰值信噪比(PSNR)筛选高质量帧;针对涂鸦问题,可通过优化开放词汇提示词或引入几何结构分析(如矩形轮廓识别)提升鲁棒性;针对OCR距离限制,可采用开放词汇模型先定位标识区域,再驱动自动对焦相机调整焦距以提升文本清晰度,或升级至商业级OCR引擎(如Google Cloud Vision OCR)。
认知负荷与可用性分析指出,系统通过“前方有工地”的二元简洁警报实现认知卸载,避免pBLV在复杂导航中额外承担视觉信息解析负担,警报的时机与相关性直接影响用户信任度。检测范围方面,当前10 m检测距离需结合用户步行速度与反应时间进一步优化:过短会导致预警不足,过长则易引发警报疲劳。160°超广角镜头虽提升周边态势感知,但会导致远距离目标像素占比下降,且易引入对街工地的误报;未来可通过动态裁剪视场平衡前向检测距离与周边感知需求。
伦理考量方面,公共场景采集的视频数据将通过人脸与车牌模糊化实现匿名化,且已有研究表明此类处理对施工要素检测性能影响极小。开放词汇检测与视觉-语言模型(VLM)的对比分析表明,YOLO-World等开放词汇检测器可完全在设备端部署,无需依赖云端算力与网络连接,更适合可穿戴辅助技术的实时性与隐私需求;VLM虽具备更强的语义推理能力,但当前部署依赖云端资源,二者可形成互补:VLM在联网时提供丰富场景描述,开放词汇检测器在无网环境下保障核心危险监测的连续性。
研究局限性包括:测试仅在晴天/多云的日间开展,未覆盖雨、极端光照等复杂条件;遮挡场景未系统评估;开放词汇检测的过泛化问题仍需通过空类别优化与提示词工程缓解;实验仅基于VIS4ION平台,未在其他硬件(如手机、AI眼镜)上验证,也缺乏与闭集YOLO、商用VLM的直接对比。
未来方向包括:引入语义分割模型区分道路结构与路边物体,结合深度估计模型提供障碍物距离信息;与市政部门合作接入实时施工许可数据,构建动态更新的步行路径施工地图;开展pBLV用户的可用性研究,验证系统在真实出行场景中的有效性。
结论
本研究提出的多模块融合计算机视觉系统为pBLV的城市施工区域导航提供了可行解决方案,静态测试与动态测试分别验证了其在受控与真实场景下的检测能力。开放词汇目标检测、专用YOLO模型与OCR的协同作用有效覆盖了施工要素的视觉多样性,50帧多数投票策略在提升时序一致性的同时控制了延迟。未来通过算法优化、多源数据融合与用户研究,该系统有望进一步提升鲁棒性,为视障人士的独立安全出行提供关键技术支撑。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号