一种基于退化感知先验辅助网络的夜间港口检测场景解析方法

《Expert Systems with Applications》：A scene parsing method for nighttime port inspection based on a degradation-aware prior-assisted network

　　

•提出了一种先验辅助框架，用于夜间港口巡检场景解析。•引入了先验辅助编码方法，用于退化感知特征学习。•开发了超图解码方法，用于结构和上下文场景解析。•在我们提出的NightPort数据集和公开夜间场景解析基准上验证了该方法。•展示了该方法在夜间港口巡检中的高效边缘部署能力。引言港口中的散货装卸作业通常依赖长距离带式输送机进行连续运输。这些输送带线路跨越多个作业区域，沿途环境通常具有空间狭窄、金属结构密集、粉尘多和振动强烈等特点。如果无法及时发现皮带跑偏、皮带撕裂和物料洒落等早期异常，它们可能进一步演变为设备损坏、非计划停机和其他安全事故，从而造成巨大的经济损失和运营风险（Han et al., 2025）。因此，沿输送带线路开展频繁且可靠的夜间巡检和风险预警，对于智能港口运营和维护具有重要意义。夜间是港口装卸和设备运行最为繁忙的时段之一。传统巡检主要依赖定期人工巡逻和基于经验的判断，但通常受到照明不足、劳动强度大、作业风险高、效率低和主观性强等制约。随着港口自动化和智能化的发展，使用移动机器人替代沿输送带线路的人工巡逻已成为重要的发展趋势（Rocha et al., 2021, Szrek et al., 2022）。其中，四足机器人（Li et al., 2025）凭借其强大的障碍跨越能力和对复杂地形的良好适应性（Ji et al., 2026），尤其适用于港口带式输送机走廊以及金属结构密集、空间狭窄区域的夜间巡检。对于这些应用而言，仅靠图像分类或目标检测无法同时满足可通行区域识别、危险区域标注和关键部件区域定量定位的要求。相比之下，逐像素场景解析能够提供更精细的区域边界和拓扑信息，从而为四足机器人巡检中的下游任务提供精细的语义结构先验，并为后续的巡检决策和风险理解提供更可靠的前端感知基础。在本文中，我们将该任务称为夜间港口巡检场景解析（Nighttime Port Inspection Scene Parsing, NPISP）。近年来，语义分割方法已从早期的基于卷积的模型演变为具有更强上下文建模能力和大规模预训练的更强大框架。早期方法以全卷积网络（FCN）（Long et al., 2015）为代表，实现了端到端的逐像素预测。随后，DeepLab系列（L.-C. Chen et al., 2017; L.-C. Chen et al., 2018）和金字塔场景解析网络（PSPNet）（Zhao et al., 2017）通过空洞卷积和多尺度上下文聚合增强了特征表示。此外，基于Transformer的架构，如分割Transformer（SETR）（S. Zheng et al., 2021）和SegFormer（E. Xie et al., 2021），改进了长程依赖和全局语义关系的建模。同时，掩码建模方法如掩码自编码器（MAE）（He et al., 2022）以及基础模型如分割一切模型（SAM）（Kirillov et al., 2023）的出现，也为复杂场景下的视觉表示迁移提供了新的技术路线。在夜间场景解析方面，NightCity（Tan et al., 2021）、NightLab（Deng et al., 2022）、DTP（Z. Wei et al., 2023）、DIAL-Filters（W. Liu et al., 2023）和DDFL（Lin et al., 2024）等研究探索了曝光和光照建模、夜间特定特征学习、困难区域细化、细节保留和结构恢复等问题，并在公开的夜间道路场景基准上取得了显著进展。然而，将现有的夜间语义分割方法应用于NPISP仍然具有挑战性，因为港口走廊图像与夜间道路场景和一般低光照场景存在显著差异。一方面，空间不均匀的人造照明可能导致同一图像内局部过曝和欠曝现象，而暗区和低对比度区域提供的纹理线索有限，这些条件削弱了任务相关区域的表示能力。另一方面，港口走廊中包含密集分布的金属支架、管道、护栏和皮带相关部件，这些物体的细长结构和局部模糊边界容易导致碎裂，使得结构一致性难以保持。更重要的是，四足机器人所搭载的边缘计算平台在算力、能耗和存储资源方面受到限制（Bai et al., 2025）。因此，NPISP需要一个能够在不均匀照明、局部曝光变化和弱纹理条件下提升表示能力、恢复碎裂细长结构，并保持适合边缘部署的紧凑推理架构的模型。为应对上述挑战，我们提出了一种退化感知先验辅助网络（DAPNet），用于NPISP。在训练过程中，一个冻结的基于光照-纹理引导的掩码自编码器（IT-MAE）分支利用补丁级别的亮度和Sobel梯度纹理线索来引导掩码生成并提供多级别结构先验。退化感知先验（DAP）编码器通过基于交叉注意的先验注入和表示对齐，将这些先验迁移到轻量级解析分支，从而提升其在不均匀照明、局部曝光变化和弱纹理条件下的表示能力。生成的先验增强多尺度特征随后由超图特征融合模块（HyperFFM）进行融合，该模块对跨尺度高阶语义关系进行建模，以改进上下文推理并恢复碎裂的细长结构。为满足四足机器人的部署约束，代理键值（Proxy-KV）生成器通过渐进式上下文混合和蒸馏进行训练，从对应主分支阶段的令牌生成代理上下文令牌。在推理时，这些代理上下文由共享的阶段特定键值投影处理，生成交叉注意力所需的键和值，从而允许完全移除辅助分支。NightPort数据集和嵌入式平台上的实验评估了DAPNet的域内解析性能和部署特性，而公开夜间基准上的实验则评估了其跨数据集泛化能力。本文的主要贡献总结如下：1）我们开发了DAP编码器，通过基于交叉注意的先验注入和表示对齐，将冻结的仅训练辅助分支中的结构先验迁移到轻量级解析分支，从而增强在不均匀照明、局部曝光变化和弱纹理条件下的任务相关表示。2）我们设计了HyperFFM作为解码器，对跨尺度高阶语义关系进行建模，并逐步整合先验增强的多尺度特征，以恢复细长且局部模糊的工业结构。3）我们引入了基于Proxy-KV的训练-推理解耦策略，通过学习从主分支特征生成代理键和值，使得推理时可以移除辅助分支，降低其部署开销。4）我们提出了DAPNet，一种用于NPISP的退化感知先验辅助框架，为四足机器人在夜间港口走廊巡检中提供逐像素场景感知。大量实验表明，DAPNet在NightPort上表现出色，在公开基准上与大配置模型具有竞争力，并在紧凑部署形式下实现了高效的嵌入式推理。本文其余部分组织如下：第2节回顾相关工作。第3节详细介绍DAPNet的整体框架及其组成模块。第4节给出实验设置和结果分析。第5节讨论模型的局限性和未来研究方向。第6节总结全文。小节片段：夜间场景解析近年来，现有研究主要通过两条技术路线来提升夜间场景解析性能。一条路线专注于在全监督设置下设计专用解析模型，以应对夜间图像的退化特性；另一条路线则试图通过域适应、伪标签迁移或外部先验引导来缓解夜间标注数据的短缺问题。在全监督路线下，先前的研究（Deng et al., 2022, LinOverall Architecture（整体架构）如图2所示，DAPNet为NPISP采用了一种非对称的训练到部署架构。在训练过程中，网络包含一个主解析分支和一个冻结的辅助先验分支。主分支从输入图像中提取多尺度语义特征，而辅助的基于光照-纹理引导的掩码自编码器（IT-MAE）分支保持冻结状态，并提供在光照-纹理引导掩码下获得的退化感知令牌先验。这些先验被投影到Datasets（数据集）1）NightPort：NightPort是为四足机器人沿夜间港口带式输送机线路巡检构建的逐像素语义分割数据集。它从三个典型的巡检视角捕捉了具有空间不均匀照明、局部曝光变化、弱纹理结构和密集分布金属设备的港口场景。数据由搭载双光谱云台的四足机器人在真实港口巡检环境中采集。为确保Failure Case Analysis（失败案例分析）尽管DAPNet取得了很强的整体解析性能，但在解析小尺度目标、远距离目标和局部复杂区域时仍存在一些局限性。如图13所示，展示了NightPort和NightCity-fine上典型失败区域的代表性放大可视化结果。具体而言，图13的前两行表明，在存在部分遮挡和密集结构的复杂工业区域中，仍可能出现局部混淆或不完整分割Conclusion（结论）本文将NPISP研究为一个退化敏感且受部署约束的工业场景解析任务。为应对空间不均匀照明、局部曝光变化、弱纹理、碎裂细长结构和边缘端推理等综合挑战，我们提出了DAPNet。在训练过程中，DAPNet使用一个冻结的辅助先验分支，通过光照-纹理引导掩码提供结构先验。轻量级解析分支吸收Uncited references（未引用参考文献）Chen et al., 2025, Chen et al., 2025, Hoyer et al., 2022, Wei and Liao, 2025.利益冲突声明作者声明，他们没有已知的可能影响本文所报告工作的财务利益或个人关系。致谢本工作由河北省教育厅科学研究项目（CXY2024024）、省重点实验室绩效补贴项目（22567612H）和河北省自然科学基金（D2024203008）资助。作者感谢匿名审稿人对本文稿提出的有益意见。Guanke Chen | Jia Chan | Haibin Li | Yaqian Li | Wenming Zhang | Tao Song | Zhenchun Wang | Haoran Liu