《Journal of Marine Science and Engineering》:A Sequence-Aware Framework for Maritime Signal Flag Recognition and Semantic Interpretation
编辑推荐:
海上信号旗的自动识别不仅需要识别单个旗帜,还需要重建其有序组合并解读相应的海上含义。本研究构建了一个序列感知框架,该框架集成了视觉感知、有序序列重建、可靠性验证以及基于国际信号规则(ICS)的语义解读。研究人员使用单一小型模型船在晴天条件下采集了包含40个IC
海上信号旗的自动识别不仅需要识别单个旗帜,还需要重建其有序组合并解读相应的海上含义。本研究构建了一个序列感知框架,该框架集成了视觉感知、有序序列重建、可靠性验证以及基于国际信号规则(ICS)的语义解读。研究人员使用单一小型模型船在晴天条件下采集了包含40个ICS类别、7865幅图像的海上信号旗数据集。视觉感知模块采用Flag-YOLO,这是一种基于YOLO11增强的检测器,融合了DualConv、GSConv和Dynamic Head,以提升对小尺度、远距离、模糊及受风致形变旗帜的识别能力。检测到的旗帜随后按自上而下顺序排列,利用置信度与空间一致性约束进行验证,并使用限定于最多三面旗、不含替代旗(substitute pennants)的单组悬挂(single-group hoists)的313条ICS子集进行解读。Flag-YOLO以2.1 M参数量达到93.1%的mAP@0.5和61.9%的mAP@0.5:0.95。在1500个样本的序列级评估中,所提方法达到92.9%的准确率,而YOLO11n为88.5%,其中三面旗序列的改进幅度最大,达7.2个百分点。结果证明了将视觉感知、结构化序列识别与领域知识相结合用于自动化海上视觉通信理解的有效性,为智能海上系统提供了一种潜在的感知组件。
海上视觉通信在常规电子通信不可用、受限或不足以传递标准化视觉信号时,仍是船对船与船对岸信息交换的重要组成部分。由国际海事组织(IMO)维护的国际信号规则(ICS)提供了字母旗、数字旗、替代旗及其组合的标准化体系,用于在海上传递航行、操作、安全与遇险相关信息。尽管自动识别系统(AIS)和甚高频(VHF)无线电等现代系统已广泛用于海上通信,信号旗仍在特定作业条件下提供可补充电子通信的标准化视觉信息。与此同时,自主水面舰艇与智能海上监视系统的快速发展,提升了对海上视觉信息自动感知与解读的需求。深度学习已被日益应用于海上感知任务,包括船舶检测、目标识别、跟踪与环境理解,近期面向应用的研究进一步证明了轻量化与任务专用深度学习架构在船舶检测、水面小目标感知与海上搜救场景中的有效性。
然而,现有研究虽已证明基于深度学习的ICS旗帜及相关海上视觉信号符号识别的可行性,但主要集中于单个旗帜或手势识别。实际ICS通信可能涉及多面旗帜,其语义含义同时取决于各构成旗帜的身份及其规定顺序。因此,单个视觉符号的准确识别并不必然保证完整海上信息的正确解读。海上信号解读与常规目标检测存在本质差异:检测器可能正确识别单个旗帜实例,但若某一旗帜被漏检、误分类、重复或顺序错误,仍无法恢复预期信号。例如,垂直排列的序列N-C表示完整的遇险信号,应作为有序语义单元而非两个独立旗帜检测来解读。这类错误对多旗信号影响更大,因为视觉感知阶段产生的不确定性会直接传播至最终语义解读。因此,本研究将海上信号旗识别表述为序列感知的视觉解读问题,而非孤立的目标检测任务。
为解决上述挑战,研究人员提出了面向海上信号旗识别与语义解读的序列感知框架。该方法将基于YOLO11增强的视觉检测器与轻量级序列解析和验证流程相结合。首先,设计Flag-YOLO以提升复杂海上条件下对小尺度、远距离、模糊及受风致形变信号旗的检测能力。其次,依据边界框中心纵坐标排列检测实例以恢复自上而下的旗帜序列,随后进行置信度与空间一致性验证。最后,ICS语义映射规则库将验证后的有序序列转换为相应的海上通信含义。本研究的主要贡献包括:从智能海上感知角度将海上信号旗识别表述为结构化视觉解读问题,并构建集成旗帜感知、有序序列重建、可靠性验证与ICS语义解读的序列感知框架;开发Flag-YOLO这一紧凑的基于YOLO11的检测器,融合DualConv、GSConv与Dynamic Head,以提升真实作业条件下对小型、远距离、模糊及风致形变海上信号旗的感知能力;引入领域知识引导的解读机制,利用旗帜的物理展示顺序重建单旗、双旗与三旗组合,通过置信度与空间一致性约束剔除不可靠序列,并使用限定于最多三面旗、不含替代旗的单组悬挂的313条ICS子集解读验证后的序列。该框架在专用的40类海上信号旗数据集与涉及1500个样本的大规模序列级实验上进行了评估。
在相关工作方面,海上视觉感知已被广泛研究,涵盖船舶检测与跟踪、障碍物识别、语义分割及细粒度海上目标理解。近期综述强调,海洋环境中的感知仍受动态海面背景、大尺度变化、小型与远距离目标、部分遮挡、光照变化及自主平台实时部署约束等领域特定因素影响。大量近期工作集中于基于YOLO的海上目标检测,如YOLOv7-Ship、基于YOLOv8增强的水面小目标检测方法、MTP-YOLO、AFF-LightNet、ALF-YOLO、Ship_YOLO、TAD-YOLO、YOLO-ESFM、EL-YOLO与SODFPN-YOLO等,表明海上目标检测正逐步向更强的小目标敏感性、更高效的特征提取与更优的部署效率发展。除船舶级检测外,海上视觉感知也向更细粒度与任务导向的识别拓展,包括航空高光谱遥感小漂浮物检测、Ship Landmark数据集、SLPDR基准、船舶火灾检测综述以及结合视觉目标识别、跟踪与数据融合的船舶导航辅助研究。无人水面艇视觉感知构成另一相关研究方向,因为近水面感知须应对反射、波浪、模糊边界与小障碍物。尽管海上视觉感知取得显著进展,多数现有方法旨在检测物理目标、结构部件或环境要素。海上信号旗与这些对象不同,因为它们是标准化通信符号,其作业含义可能不仅取决于每面检测旗帜的身份,还取决于多面旗帜展示的结构化组合。因此,常规海上目标检测为可靠的旗帜感知提供了重要技术基础,但其本身并不能解决ICS所需的结构化信号解读问题。
与一般海上目标检测相比,视觉信号系统的自动识别受到的关注明显较少。在直接涉及ICS的研究中,Krajewski和Czarnowski将基于YOLO的检测器应用于ICS旗帜识别,并在标注与增强的船舶图像上比较了不同YOLOv8配置,证明了使用现代目标检测器定位与分类单个信号旗的可行性,但该任务主要在单个旗帜识别层面而非多旗组合解读层面表述。相关研究也考虑了其他形式的旗语视觉通信:Huan和Yan研究了基于深度学习的旗语识别,比较了YOLO11与基础CNN、ResNet18和DenseNet121,并引入MediaPipe导出的姿态信息辅助识别,但其识别机制与物理悬挂的ICS旗帜存在本质差异,因为旗语含义主要由人体手臂姿态与旗帜朝向决定。Song和Kim探索了基于CNN的海上信号旗分类,并使用Grad-CAM可视化判别性图像区域,在旗帜分类与模型可解释性方面均有贡献。上述研究确认深度学习可有效支持海上信号符号的视觉识别,同时表明多数现有方法仍以单个符号或手势为中心。然而对于ICS,单个识别仅是解读过程的一部分,标准化海上视觉信号的含义可能共同取决于多面构成旗帜的身份与规定顺序。多旗信号因此不能总被解读为独立检测的集合,即使所有可见旗帜均被正确定位,不完整或顺序错误的序列也可能对应不同代码或无法表示预期海上信息。这一要求使ICS解读区别于常规目标检测,后者输出自然是无序的检测实例集合。现有文献因此揭示了视觉旗帜识别与结构化海上信号理解之间的明显空白:先前研究已确立检测或分类单个旗帜及相关视觉信号的可行性,但对重建有序多旗组合、评估重建序列的可靠性并将该序列连接至标准化ICS语义的关注相对有限。这些问题在实际海上图像中尤为重要,因为漏检、误分类、形变、遮挡与不稳定的空间关系会从视觉感知阶段传播至最终信号解读。弥补这一空白需要一个将单个旗帜识别拓展至可靠的序列级与语义级解读的框架。
在方法方面,所提框架旨在将海上信号旗观测从低级视觉检测转化为可解读的海上信息。整体流程由三个主要模块组成:视觉感知、序列感知解析与验证、ICS语义映射。给定输入图像或视频帧,视觉感知模块首先采用所提Flag-YOLO检测器定位单个信号旗并预测其类别标签与置信度分数。每个保留的检测由预测类别、置信度分数与边界框表示。所得无序检测随后传入序列感知解析与验证模块。在检测结果形式化后,旗帜依据边界框中心y坐标自上而下排列,遵循海上信号旗的物理展示惯例。重建序列随后基于检测置信度与空间一致性进行可靠性验证,未通过可靠性准则的序列标记为不确定,不直接进入语义解读。对于可靠序列,ICS语义映射模块使用完整有序序列搜索预定义的ICS规则库。若找到对应规则,系统输出识别到的旗帜序列、匹配的ICS代码及其关联的海上语义含义;若无支持的规则匹配,结果明确报告为未知或不支持信号,而非赋予不确定解读。这一任务专用流程在视觉旗帜检测与高层海上通信语义之间提供了确定且可解释的连接。
视觉感知模块基于YOLO11n并加以改进以提升小型与形变海上信号旗的检测。Flag-YOLO保留YOLO11n的整体主干—颈部—头部架构,同时引入三项针对性修改:将DualConv引入主干中选定的C3k2模块,以在减少参数冗余的同时增强局部特征提取;将GSConv引入颈部,以在保持跨通道信息的同时提升特征提取与融合效率;将原始检测头替换为Dynamic Head,以增强尺度感知、空间感知与任务感知的特征自适应能力。DualConv模块通过结合3×3与1×1卷积提升特征表示并降低计算冗余,其中3×3卷积捕获局部空间特征,1×1卷积促进跨通道信息交互,并进一步采用分组卷积将输入与输出特征图划分为G组以降低计算成本。在海上环境中,信号旗在风扰下可能发生非刚性形变、折叠与部分自遮挡,改变其表观形状与颜色模式。通过将DualConv集成到YOLO11n选定的C3k2模块中,网络在控制参数冗余的同时增强局部特征提取,互补的卷积分支有助于保留小型与形变旗帜的判别性细节,尤其是在远距离与运动模糊场景中。为进一步平衡检测精度与计算效率,GSConv被引入颈部选定层,其结合标准卷积与深度可分离卷积,随后进行通道拼接与混洗操作,在保持跨通道信息交换的同时实现轻量化特征处理。对于海上信号旗检测,该结构有助于在降低冗余计算的同时保留颜色模式与形状特征,这对受尺度变化、背景干扰与风致形变影响的小型旗帜尤为重要。在海上信号旗检测中,成像距离变化可能引起显著尺度变化,旗帜外观还可能受遮挡、风致形变与复杂背景影响。为提升这些条件下的特征自适应能力,原始YOLO11n检测头被替换为Dynamic Head(DyHead),其在统一检测头中集成尺度感知、空间感知与任务感知注意力。尺度感知注意力调整不同金字塔层级特征的贡献,空间感知注意力强调信息丰富的空间位置,任务感知注意力使特征响应适应不同检测任务,这些互补机制提升了检测器处理尺度变化、几何形变以及旗帜分类与定位联合需求的能力。
序列感知解析与验证方面,视觉感知模块输出检测到的旗帜实例后,下一步是将无序检测转换为有序旗帜序列。在海上信号解读中,语义含义不仅取决于检测到的旗帜类别,还取决于其自上而下的排列。因此,检测后阶段被表述为多旗信号的排序与可靠性验证问题。所提解析与验证流程以Flag-YOLO产生的检测为输入,生成用于后续语义映射的有序旗帜序列,包括三个步骤:检测结果形式化、自上而下序列排序、基于置信度与空间一致性的序列验证,目标是在降低漏检、误分类、重复检测、异常间距及其他不可靠观测所致误差传播风险的同时,获得可靠的单旗、双旗与三旗序列。在检测结果形式化中,设输入图像中候选旗帜检测集合为D,每个检测实例由预测类别标签、置信度分数与边界框组成,记为(ci, si, bi),其中ci表示预测旗帜类别,si表示置信度分数,bi表示由左上角坐标(xi, yi)、宽度wi与高度hi定义的边界框,每个边界框的中心点据此计算。为在序列解析前降低低置信度检测的影响,候选检测依据预设置信度阈值τc过滤,保留检测集合记为Df,Nf表示保留检测数量。在本任务设定中,有效信号配置包含一面、两面或三面旗帜,保留检测随后用于自上而下序列排序与可靠性验证。在自上而下序列排序中,对于本研究考虑的单次悬挂配置,信号顺序对应图像中旗帜自上而下的排列。设yic表示第i个保留边界框的垂直中心坐标,对于N≥2,检测按yic升序排列,对应图像坐标中的自上而下序列;对于单旗观测,无需排序操作。π=(π1, π2, …, πN)表示按垂直中心坐标排序的检测索引,有序旗帜序列据此构建。该排序规则直接遵循旗帜的物理展示顺序,无需额外学习参数。当检测框不稳定、部分重叠或间隔异常时,所得序列不被直接接受,其可靠性进一步通过置信度与空间一致性准则评估。在序列可靠性验证中,由于语义解读对检测与排序误差均敏感,引入序列可靠性验证策略以防止不可靠序列被直接映射为海上含义。验证过程同时考虑检测置信度与空间一致性。首先,解析序列的置信度定义为有序序列中所有旗帜置信度的最小值,采用最小值算子是因为复合信号的语义正确性可能受置信度最低的检测旗帜影响。仅当序列置信度不低于序列级置信度阈值τs时,序列满足置信度准则。其次,评估相邻旗帜间的空间间隔以识别异常间隙、严重重叠、重复检测或可能的漏检。对于有序序列中相邻旗帜对的归一化间隔,采用相邻框中心间距离的欧氏范数与对应边界框高度之比计算,有效相邻关系需满足归一化间隔位于下界ρmin与上界ρmax之间。若间隔过小,两个检测可能对应重叠或重复框;若间隔过大,结果可能表明漏检、误检或异常序列间隙。任一情况下序列标记为不确定,不直接进入语义映射。对于单旗序列,因不存在相邻旗帜对,无需空间一致性验证,序列可靠性仅由置信度准则确定。有效序列传入基于ICS的语义映射模块,而不确定序列可保留用于告警输出或人工核验。该验证流程降低了不可靠检测与排序结果向后续语义解读阶段的传播。置信度与空间一致性检查作用于保留检测,并不保证已观测到完整悬挂。若顶部或底部旗帜被漏检,剩余检测仍可能满足两项检查并匹配规则库中较短的条目,因此当前单图像流程可能接受不完整序列并输出错误信息,此类情况计为错误语义输出而非未知结果。悬挂完整性的时间确认将在未来工作中研究。下界ρmin=0.50与上界ρmax=3.00作为几何启发式经验预设值,用于所评估的单信息组设定。所有序列评估图像均包含一个由一至三面旗帜组成的信息组,不含额外信息组或伴随身份信号。这些边界并非ICS规定。有效悬挂可能包含由约2 m系绳分隔的多个组,并可能包含身份信号。当前解析器不分割多信息组,也不区分伴随身份信号,因此大间隙或超过三面旗帜本身并不表示无效ICS展示。按图像y坐标排序要求足够清晰的垂直投影,在显著横摇或纵倾下的性能尚未系统评估。
在ICS规则语义映射方面,获得验证后的有序旗帜序列后,通过ICS规则映射模块进行语义解读。规则库依据ICS存储支持的旗帜序列与其标准化海上含义之间的对应关系,每条映射规则表示为Sk→Mk,其中Sk表示有效旗帜序列,Mk表示其对应海上语义含义。规则库包含单旗、双旗与三旗条目。例如,有序序列[N, C]对应"我处于遇险状态并需要立即援助",逻辑代码MAA对应"我请求紧急医疗建议"。MAA样本使用两面实体A旗记录;在仅有一套旗帜可用时,MAA按ICS第1章第5节第6段悬挂为M、A及第二个替代旗,第二个替代旗重复第二个字母旗A。三面替代旗作为单独输出类别纳入,但其有限样本量不足以建立可靠识别性能,其向字母或数字的展开未在当前解析器中实现,因此基于替代旗的悬挂解读仍超出本系统已展示的能力范围。所实现的ICS规则库包含K=313条映射,包括25条单符号、121条双符号与167条三符号代码,完整313条ICS规则库(含代码到含义映射、适用限定与来源参考)见补充表S1。该子集依据当前解析器对最多三符号逻辑代码的支持选取,重点为遇险、援助与搜救,包括第1章第10节的25条单字母信号、第2章第1节选取的277条条目、第3章第2节的8条基本医疗请求与患者状态信息,以及分别来自第2章第3、5、7节的NC、UY与YG。每条代码到含义的映射均对照NGA Pub. 102(2020年修订版)相应文本核验,需要不支持强制参数的条目被排除,上下文限定与可选替代项予以保留,所实现规则库覆盖ICS的一个确定子集。给定验证后的有序序列S,语义映射函数在规则库中搜索精确序列匹配,完整有序序列在生成语义输出前被匹配。例如[N, C]被解读为完整遇险信号而非N与C的独立原子含义,[M, A, A]同理被解读为完整三旗信号。若无支持的规则匹配完整有序序列,系统报告为未知或不支持,而非对其构成旗帜分别赋予含义。语义映射模块输出包括有序旗帜序列、匹配的ICS代码、对应海上含义及解读的置信状态,在旗帜检测、序列重建与标准化海上信号解读之间建立了可解释的连接。
实验与结果方面,为支持真实作业条件下海上信号旗检测与序列解读的评估,通过现场实验采集了专用海上信号旗数据集。数据采集中,ICS旗帜被实体悬挂于模型船上,并在真实海上条件下记录图像序列。数据集包含40个信号旗类别,包括26面字母旗(A–Z)、十面数字旗(0–9)、回答旗与三面替代旗。采集样本包含单旗、双旗与三旗配置,为旗帜检测与后续序列解读提供数据支持。最终数据集共7865幅图像,按7:1:1划分为训练集、验证集与测试集,分别为6117、874与874幅。检测数据集在帧提取后按图像级随机划分,该划分可能将同一视频的时间相邻帧置于不同子集,从而可能产生乐观的检测性能估计。所有信号旗实例均以边界框与相应类别标签人工标注。除检测数据集外,另独立采集序列级评估集以评估完整框架性能,该集包含1500幅未见图像,包括500个单旗、500个双旗与500个三旗样本,均未参与模型训练、验证或检测器测试。1500幅序列评估集中的所有悬挂均使用字母旗与数字旗构成,不含替代旗。记录在晴天条件下采集,在原始分辨率1920×1080像素的人工核验图像中,标注旗帜边界框宽度为45至172像素,高度为64至118像素。检测数据集源自21次采集记录的72段原始视频,序列评估数据集源自5次采集记录的13段原始视频。检测数据集每0.5 s提取一帧,序列评估数据集每1.0 s提取一帧。5次序列评估采集与21次检测采集完全分离,序列图像在不同场景中记录。检测数据集10873个标注旗帜实例的各类别分布亦有统计。替代旗与回答旗实例数量较少,限制了关于这些类别检测性能的结论。
实现细节方面,所有实验在配备NVIDIA GeForce RTX 4090 GPU的工作站上进行,Flag-YOLO基于YOLO11n开发,输入图像尺寸设为640×640像素,批大小为8,所有模型训练200个epoch,初始学习率与权重衰减分别设为0.01与0.0005,训练时应用Mosaic增强并在最后10个epoch禁用。对于序列解析与可靠性验证,检测置信度阈值τc设为0.25,序列级置信度阈值τs设为0.50,归一化空间间隔下界与上界分别设为ρmin=0.50与ρmax=3.00。除消融与敏感性分析另有说明外,这些参数在序列级实验中固定。所有检测器比较与消融实验采用相同数据集划分与评估协议以确保公平比较。对于重复运行比较,YOLO11n与Flag-YOLO各使用三个随机种子(0、1、2)训练,运行间变异性以两项mAP指标的均值与样本标准差汇总。评估指标方面,采用精确率(P)、召回率(R)、mAP@0.5与mAP@0.5:0.95作为精度指标,并采用参数量(Params)与十亿浮点运算数(GFLOPs)评估模型复杂度与计算成本。精确率表示所有预测正样本中正确检测正样本的比例,召回率衡量所有真实正样本中正确检测正样本的比例。平均精度AP由精确率—召回率曲线下面积计算。平均精度均值mAP在检测测试集中具有真实实例的C个类别上计算,在Ultralytics评估器中,无测试实例的类别因AP无法估计而被排除,因此C表示测试真值中存在的类别数而非配置的40类总数。mAP@0.5表示IoU阈值为0.5时的平均AP,mAP@0.5:0.95通过平均IoU阈值从0.50至0.95、间隔0.05的mAP值计算,后者对分类与定位性能提供更严格评估。Params表示网络中可训练参数总数,反映模型大小与存储需求;GFLOPs表示一次前向传播所需的计算量,较低Params与GFLOPs通常表明模型更轻量、计算复杂度更低。
在检测比较与消融研究中,为全面评估Flag-YOLO的检测性能,选取了不同架构的代表性目标检测器进行比较,包括Faster R-CNN、SSD、RT-DETR-L、YOLOv3-Tiny、YOLOv5n、YOLOv6n、YOLOv8n、YOLOv10n、YOLO11n、YOLOv12n与YOLO26n。Faster R-CNN、SSD与RT-DETR-L按YOLO训练设置训练200个epoch、初始学习率0.01,其结果应在此共享训练协议背景下解读。Flag-YOLO达到88.7%的精确率、86.7%的召回率、93.1%的mAP@0.5与61.9%的mAP@0.5:0.95,在所有比较检测器中获得最高mAP@0.5与mAP@0.5:0.95。与基线YOLO11n相比,mAP@0.5从92.1%提升至93.1%,mAP@0.5:0.95从60.4%提升至61.9%,分别提升1.0与1.5个百分点;召回率也从86.3%提升至86.7%,表明所提修改增强了基线模型的整体检测能力。尽管RT-DETR-L取得最高精确率93.1%,但其mAP@0.5与mAP@0.5:0.95分别为88.3%与56.1%,明显低于Flag-YOLO。YOLOv8n取得略高的召回率86.9%,但其mAP@0.5与mAP@0.5:0.95分别为92.1%与59.9%,Flag-YOLO在mAP@0.5:0.95上超过YOLOv8n 2.0个百分点,表明在更严格IoU准则下具有更好检测性能。与其他轻量检测器(包括YOLOv5n、YOLOv6n、YOLOv10n、YOLOv12n与YOLO26n)相比,所提模型也保持更高的mAP值。在模型复杂度方面,Flag-YOLO约含2.1 M参数,低于所比较检测器,同时需要8.3 GFLOPs。与YOLO11n相比,所提模型将参数量从2.6 M降至2.1 M,尽管计算成本从6.5 GFLOPs适度增至8.3 GFLOPs。检测精度提升与参数量减少伴随更高计算成本与更长的实测桌面流程延迟。训练行为方面,Flag-YOLO在早期训练阶段快速提升并随训练逐渐收敛,约100个epoch后mAP曲线相对稳定,后续训练过程仅有轻微波动,最终收敛至约0.93与0.62。精确率与召回率曲线进一步表明Flag-YOLO在收敛后保持相对平衡的检测性能。尽管若干基线模型在单项指标上取得相当或略高数值,但所提模型在同时考虑检测精度与定位质量时始终表现出更强的整体性能,表明Flag-YOLO不仅提升YOLO11n基线的最终检测精度,还在整个训练过程中保持稳定收敛,为后续序列感知解析与语义解读提供可靠检测结果。为评估不同训练运行间的变异,三个种子的单独结果及其均值与样本标准差显示,Flag-YOLO的mAP@0.5与mAP@0.5:0.95均值分别为93.1±0.1%与61.9±0.1%,YOLO11n为91.9±0.1%与60.1±0.1%,平均改进分别为1.2与1.8个百分点,Flag-YOLO在三个匹配种子的两项指标上均取得更高值。由于图像级划分下子集间的时间相似性,检测结果可能偏乐观,三种子比较衡量同一划分下的训练变异性,但并未解决该局限。
消融研究方面,为探究Flag-YOLO各组件的贡献,通过单独及组合评估DualConv、GSConv与Dynamic Head与YOLO11n基线进行消融实验,所有实验在相同训练与评估设置下进行。基线YOLO11n取得88.1%的精确率、86.3%的召回率、92.1%的mAP@0.5与60.4%的mAP@0.5:0.95。单独引入DualConv后,mAP@0.5与mAP@0.5:0.95分别提升至92.4%与60.9%,参数量从2.6 M降至2.5 M。单独引入GSConv导致92.1%的mAP@0.5与60.8%的mAP@0.5:0.95,参数量降至2.5 M。在单个组件中,Dynamic Head提供最大精度提升,单独使用Dynamic Head时精确率、召回率、mAP@0.5与mAP@0.5:0.95分别达到88.4%、86.5%、92.7%与61.1%,相比基线分别提升0.3、0.2、0.6与0.7个百分点,同时参数量从2.6 M降至2.3 M。双模块配置进一步考察所提组件的组合:DualConv与GSConv取得92.6%与61.3%的mAP@0.5与mAP@0.5:0.95,参数量2.4 M;DualConv与Dynamic Head取得92.9%与61.5%,GSConv与Dynamic Head取得92.8%与61.4%,两者参数量均为2.2 M;在双模块配置中,DualConv与Dynamic Head在两项mAP指标上取得最高值。当三个组件全部集成时,Flag-YOLO取得最佳整体性能,精确率88.7%、召回率86.7%、mAP@0.5为93.1%、mAP@0.5:0.95为61.9%,相比基线分别提升0.6、0.4、1.0与1.5个百分点,参数量从2.6 M降至2.1 M,约减少19.2%。结果表明组合配置在保持紧凑模型规模的同时提升了检测精度。
序列级信号旗识别与语义解读方面,为在不同信号旗配置下进一步评估所提框架,在独立序列级评估集上进行实验,该集包含1500幅图像,其中500个单旗、500个双旗与500个三旗样本。YOLO11n与Flag-YOLO使用相同图像与序列重建流程以确保公平比较。除实例级检测外,本实验还考虑旗帜序列的完整识别:仅当所有构成旗帜被正确检测与分类且预测的自上而下序列与真值一致时,序列才被视为正确识别。序列识别准确率定义为正确识别的完整序列数与评估序列总数之比。结果显示Flag-YOLO在所有评估信号配置上始终优于YOLO11n:单旗序列识别准确率从93.6%提升至96.4%,双旗序列从88.4%提升至91.6%,三旗序列从83.4%提升至90.6%,分别对应2.8、3.2与7.2个百分点的改进;总体而言,Flag-YOLO达到92.9%的序列级识别准确率,YOLO11n为88.5%,提升4.4个百分点。结果进一步表明序列识别随序列长度增加而愈发困难,因为仅当所有构成旗帜被正确检测、分类与排序时完整序列才被视为正确,多旗配置中误差会累积。值得注意的是,最大改进出现在三旗序列,Flag-YOLO将准确率提升7.2个百分点,表明随着结构化海上信号复杂度增加,增强视觉感知变得愈发重要。由于两种检测器使用相同解析与验证流程,该改进反映了检测器选择的效果,可靠性验证的贡献通过单独消融研究考察。在相同1500幅序列图像上使用完整序列正确性准则进行配对比较,被拒序列保留为不正确,配对结果显示仅YOLO11n正确识别43幅,仅Flag-YOLO正确识别109幅。基于152个不一致对的精确McNemar双侧检验得p=8.54×10?8。这是图像级比较,未对视频帧间的时间依赖性建模。
语义级评估方面,为评估最终海上信息的正确性,语义级评估使用与序列级相同的1500幅图像序列评估集,包含500个单旗、500个双旗与500个三旗图像。每幅图像具有标注的真值ICS代码与含义,所有真值代码均由所实现规则库覆盖。两种检测器使用相同的序列排序、置信度与空间一致性验证以及ICS语义映射流程,阈值固定。每幅图像依据最终系统输出被归入三种结果之一:正确表示与真值信息一致的确定语义输出;错误表示与真值信息不同的确定语义输出,包括重建序列错误但映射到具有不同含义的有效规则;未知表示因未检测到旗帜、可靠性验证失败或重建序列无匹配规则而缺乏确定语义输出。语义正确性依据标注含义而非仅重建旗帜序列评估。结果显示,Flag-YOLO的正确语义解读从YOLO11n的1327(88.5%)增至1393(92.9%),提升4.4个百分点;错误解读从46(3.1%)降至31(2.1%),未知结果从127(8.5%)降至76(5.1%)。因此Flag-YOLO在该评估集上产生更多正确信息与更少错误或未知输出。桌面运行时间在RTX 4090上使用Python 3.8、PyTorch 2.0与CUDA 11.8测量,批大小为1,640×640输入,FP32推理,计时涵盖从解码的CPU图像经预处理、数据传输、检测与NMS、旗帜排序、可靠性验证及ICS映射到最终语义或未知输出的处理过程,GPU操作同步,图像解码、显示与文件保存不计入。Flag-YOLO平均流程延迟为20.81 ms/图像,对应48.06 FPS;其平均流程延迟约为YOLO11n的2.45倍(20.81对8.50 ms/图像)。两条流程使用相同的下游解析、验证与映射流程,较高延迟反映了DualConv、GSConv与Dynamic Head组合配置的计算成本,尽管其参数量更低。这些测量针对桌面执行,实时船载部署仍属未来工作。进一步分析发现,YOLO11n有40例、Flag-YOLO有24例因旗帜遗漏产生较短序列并通过验证、匹配到与真值含义不同的有效代码,分别占1500幅测试集的2.7%与1.6%;其中YOLO11n有31例(测试集2.1%)、Flag-YOLO有16例(1.1%)涉及悬挂顶部或底部遗漏。每幅图像对每种检测器各计一次,这些情况均已包含在错误类别中。1500幅评估集中没有非遇险悬挂被错误接受为任何选定代码。错误接受的信息可能误导值班人员对遇险或可用援助的判断,未知输出不得被解读为不存在遇险信号的证据,系统输出需要人工核验。
为分离可靠性验证的贡献,消融研究在相同1500幅序列评估集上使用Flag-YOLO,所有配置使用在候选置信度阈值0.25下保留的相同检测,采用相同非极大值抑制设置、自上而下排序与ICS规则语义映射,仅改变序列级置信度与空间一致性检查。比较四种配置:仅排序(两项检查均禁用)、排序加置信度验证、排序加空间一致性验证、完整流程(两项检查均启用)。启用时,置信度检查使用0.50的序列阈值,若序列最低旗帜置信度低于该阈值则拒绝整个序列,不删除单个旗帜;空间检查使用0.50与3.00的归一化间隔边界,单旗序列跳过。输出按上述语义准则分类为正确、错误或未知,每种配置在全部1500幅图像上评估,包括被拒序列。结果显示,单独置信度验证将错误输出从58降至42,单独空间验证降至36,两项检查均启用时错误输出降至31。与仅排序相比,完整流程额外保留56个输出,包括27个错误与29个正确解读,因此未知结果从20(1.3%)增至76(5.1%),正确结果从1422(94.8%)降至1393(92.9%)。结果表明在减少错误信息与增加弃权(包括拒绝部分正确解读)之间存在权衡。被拒序列保留在评估中不被丢弃,报告为未知并从正确计数中排除,但仍保留在整体识别准确率分母中,因此被拒情况计为不成功识别,但区别于发出含义错误的信息。接受在最终语义输出阶段定义:系统发出确定ICS含义时输入被接受;拒绝(弃权)表示未发出确定含义,包括无检测、可靠性验证失败或无匹配规则的情况。该定义描述最终系统输出而非仅通过验证检查。设C、W、U分别表示正确、错误与未知结果计数,N=C+W+U=1500,A=C+W,接受率为A/N,拒绝率为U/N,接受输出上的准确率为C/A,所有测试输入上的错误语义接受率为W/N,W/A单独报告为接受输出中的错误率。Flag-YOLO最终语义接受率为94.9%,拒绝率为5.1%,接受输出上的准确率为97.8%,YOLO11n为96.6%;错误接受信息占所有测试图像的2.1%、占接受输出的2.2%,YOLO11n分别为3.1%与3.4%。错误信息与弃权分别报告,因为错误接受的信息可能比拒绝正确解读更具后果。为评估对空间边界的敏感性,使用固定Flag-YOLO检测在相同1500幅序列评估集上评估ρmin∈{0.25, 0.50, 0.75}与ρmax∈{2.00, 3.00, 4.00}的九种组合,候选置信度阈值(0.25)、序列置信度阈值(0.50)、排序与ICS规则库保持不变。在所测组合中,正确解读范围为1389至1393(92.6–92.9%),错误输出为29至31(1.9–2.1%),未知结果为76至82(5.1–5.5%)。默认设置产生1393个正确、31个错误与76个未知结果。这些总体结果表明在该数据集上所测边界范围内变化有限,但并未确立默认边界最优,也未验证多组悬挂上的性能。
定性比较与语义解读方面,为直观比较识别性能,选取代表性单旗、双旗与三旗样本进行定性可视化,比较基线YOLO11n与所提Flag-YOLO的检测结果。检测到的旗帜随后按自上而下顺序排列形成完整旗帜序列,仅通过可靠性验证的序列使用ICS规则库映射至相应海上含义。两种模型均能正确识别若干相对清晰的信号旗样本,差异在涉及小目标、漏检或类别混淆的挑战性案例中更为明显。例如YOLO11n将[V]误分类为[Y]并未能检测[Q];对于多旗信号,基线还产生不完整或错误序列,包括[N, C]、[Y, G]、[C, P, 1]、[M, A, A]与[C, B, 6],而Flag-YOLO在这些示例中正确恢复完整有序序列。此类错误对多旗信号尤为重要,因为单个漏检或误分类旗帜可能改变重建序列并进而影响最终ICS解读。定性观察与序列级结果一致。
结论部分,本研究提出了面向海上信号旗识别与语义解读的序列感知框架,旨在将常规旗帜检测从孤立视觉识别拓展至结构化海上信号理解。通过现场实验在真实海上条件下采集了包含7865幅图像与40个信号旗类别的专用数据集。基于YOLO11n,所提Flag-YOLO集成DualConv、GSConv与Dynamic Head,在保持紧凑模型规模的同时提升小型与视觉挑战性信号旗的特征表示。语义解读模块实现了针对由一面至三面旗帜组成、不含替代旗的单组悬挂的313条ICS子集。实验结果表明所提框架的有效性:Flag-YOLO达到93.1%的mAP@0.5与61.9%的mAP@0.5:0.95,分别超过YOLO11n基线1.0与1.5个百分点,同时使用约2.1 M参数。消融研究进一步表明DualConv、GSConv与Dynamic Head各自对检测性能与参数效率的提升均有贡献。更重要的是,涉及1500幅图像的独立序列级评估表明,基于Flag-YOLO的框架将整体序列识别准确率从88.5%提升至92.9%,单旗、双旗与三旗序列的改进分别为2.8、3.2与7.2个百分点。三旗序列尤为显著的提升表明,随着结构化海上信号复杂度增加,可靠视觉感知变得愈发重要。检测结果应结合图像级划分来解读,还需使用会话级划分进一步评估;序列级结果为所评估的新场景提供了性能证据,因为5次序列记录会话与检测记录会话完全分离。尽管有这些改进,在严重风致非刚性形变下可靠的海上信号旗识别仍具挑战。在实际海上环境中,持续变化的风况可能导致显著旗帜折叠、卷曲、拉伸与部分自遮挡,即使同一旗帜类别也产生显著外观变化,这种形变对远距离与小尺度旗帜尤为棘手,因为可用的判别性视觉信息有限。因此未来工作将聚焦通过更多样化的现场数据与面向形变的增强策略提升形变鲁棒性;此外将研究连续视频帧的时间信息,以利用旗帜外观的动态演变并减少瞬态形变、运动模糊与临时遮挡导致的识别不稳定;进一步工作将扩展支持的ICS信号组合,并研究在资源受限的智能海上平台(包括无人与自主水面舰艇)上的实时部署。当前评估仅限于一艘小型实验船在晴天条件下进行,对大型船舶与更多样化海上条件的适用性需要进一步验证。该系统旨在作为海上值班人员的决策支持辅助,其输出应结合观测到的悬挂与其他可用信息进行核验,不替代正规瞭望、既定值班程序或人工判断,未知或无输出不得被解读为不存在遇险信号的证据。