移动摄像头下车牌识别的几何约束多帧字符关联

《Sensors》：Geometry-Constrained Multi-Frame Character Association for License Plate Recognition on Moving Cameras

　　

多帧融合是将逐帧车牌字符检测转换为稳定可靠读数的标准方法。字符时间序列匹配（Character Time-Series Matching, CTM）是一种领先方法，利用匈牙利算法和固定的欧几里得距离阈值以及仅平移运动模型来关联跨帧字符，在UFPR-ALPR数据集上报告了96.7%的准确率。在这项工作中，研究人员证明这种高性能依赖于协议：当使用真值静态车牌裁剪和预分割轨迹时，CTM表现出色。然而，在涉及移动摄像头（例如无人机载摄像头、头盔摄像头和移动平台）的真实场景中，帧间几何动态变化，结合固定空间门控与无约束平移传播的基线多帧关联框架失效。在这些情况下，时间融合不提供任何好处，并使车牌识别性能低于单帧基线。实际上，在其自身的交并比（Intersection over Union, IoU）跟踪器下，该文献方法在真实移动摄像头录制的交通视频（86条人工验证轨迹）中仅正确读取了15.1%的车牌。为了解决这一弱点，研究人员提出了Geo-CTM（Geometry-Constrained CTM，几何约束CTM），一种关联流水线，集成了高度自适应的匹配门控、通过随机采样一致性（Random Sample Consensus, RANSAC）估计帧间相似性、变换引导的字符滑行以及共现约束的重复轨迹消除。系统性的运动模型消融表明，虽然完整的关联流水线提供了鲁棒性的主要基础（将平均准确率从85.40%提高到91.5%以上），但估计相似变换（91.82%）在平面板上提供了最符合物理规律且可识别的表示，且没有估计退化。虽然在使用相同检测器和检测结果的情况下，该方法在理想数据上表现与CTM相当，但在CTM不足的几何失真条件下，它最小化了性能损失。例如，在0→60°视角变化下实现了统计显著的改进；在真实交通视频中，保持跟踪器固定使融合层成为唯一变量，性能在原始系统的IoU跟踪器下从15.1%上升到26.7%，在ByteTrack下从16.3%上升到29.1%（ 和 点；精确McNemar检验 和 ），而仅改变跟踪器同时保持融合层固定则使准确率仅移动1-2点，且不显著。最后，研究人员的错误分类分析表明，在未失真的基准上，所有残差错误都对应于超出决策级融合范围的零证据情况，而在动态透视失真下，错误主要由关联错位主导，突出了未来性能改进必须针对的具体发展领域。

**移动摄像头下车牌识别的几何约束多帧字符关联（Geo-CTM）解读**

自动车牌识别（Automatic License Plate Recognition, ALPR）是智能交通系统中应用最广泛的计算机视觉技术之一，涵盖交通执法、停车管理、安全监控和高速收费等场景。传统单帧两阶段系统（车牌定位后接字符识别）的性能已接近饱和。然而，实际部署正从固定理想角度的静态图像转向动态移动摄像头流，如车载行车记录仪、摩托车巡逻头盔摄像头、手持设备及空中传感器。这些平台上的视角、尺度和图像清晰度逐帧变化，单帧识别容易受运动模糊、部分遮挡或低分辨率影响。多帧融合通过整合轨迹上同一车牌的多次观察来提升识别精度，是应对单帧退化的自然策略。然而，现有代表性方法，如字符时间序列匹配（Character Time-Series Matching, CTM），在关联字符时使用固定像素距离阈值和仅平移运动模型，隐含假设相机运动为纯平移。在真实移动场景中，车牌为刚性平面，相机运动导致透视和尺度变化，固定空间门控与无约束平移传播会使字符检测被分配到错误轨迹，投票证据被破坏性累积，导致融合性能甚至低于单帧基线。因此，研究人员提出将平面几何约束显式引入多帧字符关联，以解决运动模型失配问题。

研究人员提出Geo-CTM（Geometry-Constrained CTM），一种几何约束的字符关联流水线。其核心是使用随机采样一致性（Random Sample Consensus, RANSAC）估计帧间相似变换（平移、旋转、尺度，共4自由度），替代仅平移模型；同时将匹配门控宽度按字符高度动态缩放，并通过相似变换投影缺失字符位置，还引入共现约束的并查集（Union-Find）重复轨迹消除机制。研究在UFPR-ALPR（车载摄像头，官方60/30/60划分）、真实越南移动摄像头交通视频（86条人工验证轨迹）以及RodoSol-ALPR（20000张图像，巴西和Mercosur车牌格式，合成推近运动）上进行了系统评测。所有方法在“匹配且冻结检测器”协议下比较，使用相同字符检测器（YOLO11n）和相同的逐帧检测结果，仅关联与融合层不同。超参数仅在验证集上确定，测试集评估严格遵循置信区间和精确McNemar显著性检验。

**结果与分析**

*与文献的直接比较*：在UFPR-ALPR测试集上，Geo-CTM在冻结检测器协议下达到98.33%的精确匹配准确率，高于CTM的96.67%，且无需增加额外深度学习模型。

*干净数据上的性能等价*：在无几何失真的理想条件下，Geo-CTM与CTM准确率无统计显著差异，但两者均显著优于无融合的单帧基线（83.3%），证实时序证据整合的普遍价值。

*鲁棒性：融合何时有帮助或有害*：通过沿轨迹施加渐进动态失真（如0→60°偏航角）的对照协议，发现CTM在60°偏航时降至33.3%，低于单帧基线83.3%；Geo-CTM保持85.0%，且差异统计显著。而静态失真使所有方法同等下降，说明动态运动模型是融合失效的关键。

*选择哪种几何模型？*：在相同流水线内比较五种运动模型，完整关联流水线（高度自适应门控、变换引导滑行、共现去重）提供了主要鲁棒性，使仅平移模型也能达到87.4%平均准确率；但相似变换与一维射影模型均达到最高的91.82%，而8自由度全单应因过参数化降至80%左右。相似变换在物理保真度和数值稳定性间达到最佳平衡。

*真实世界：移动摄像头交通*：在真实越南交通视频中，固定跟踪器仅改变融合层时，Geo-CTM在IoU跟踪器下将准确率从15.1%提升至26.7%，在ByteTrack下从16.3%提升至29.1%，均统计显著；而仅更换跟踪器时准确率仅移动1-2点且不显著。这表明跟踪算法无法解决车牌内部字符关联问题，共现约束（真实相邻字符共现率93-100%，碎片重复轨迹仅23-43%）是区分错误合并的关键。

*融合上限：决策层的理论限制*：无失真数据上，所有残余错误字符位置均为“零证据”情况——检测器在整条轨迹中从未提出正确类别，故决策级投票无法恢复。动态失真下，检测器召回完整，错误主要来自关联错位（从0升至12个位置），证明几何失真的失败本质是关联失败而非检测失败。

*端到端与计算成本*：端到端实验中Geo-CTM达到96.7%准确率，高于CTM的93.3%；定向边界框（Oriented Bounding Box, OBB）在矫正阶段无额外贡献。融合层平均耗时5.6 ms/帧（p99 20 ms），不损害实时性。

*RodoSol-ALPR上的合成推近泛化*：在巴西（BR）和Mercosur（ME）两种车牌布局上，无失真时各方法均约99%；当视角增大到60°时，CTM降至73.3%（BR）和62.5%（ME），Geo-CTM保持97.5%和96.7%，无需额外训练即可泛化。

*时间稳定性与读取收敛*：加入基于清晰度和字符大小的置信锁定机制后，Geo-CTM将每轨迹平均读数变化从CTM的19.5次降至13.4次，抖动减少31%，同时提高最终全车牌准确率。

**讨论与结论**

讨论部分指出，多帧融合并非天然有益，其收益严格取决于关联管线的完整性和物理有效性。消融实验将三个关键机制分离：完整关联管线（自适应门控、变换引导滑行、共现去重）提供主要鲁棒性；运动模型从平移升级为相似变换提供最终几何保真度；跟踪升级无显著作用，字符关联需要专门的几何建模。局限性包括：未评估无人机航拍特有的气流振动与俯仰角度、恶劣天气条件；零证据上限表明决策层无法恢复检测器从未提出的类别；格式规则仅适用于巴西和越南标准，且真实交通评估的采样框受检测器限制，真值由单标注者完成。

结论部分可翻译为：在本研究中，研究人员提出了Geo-CTM，一种几何约束的字符关联方法，用于改善移动摄像头视频流中的多帧车牌识别。实验结果表明，通过RANSAC估计的帧间相似变换可保护关联管线免受透视和尺度失真的影响，防止融合性能退化。由于决策级融合无法恢复检测器建议中缺失的类别（零证据极限），未来性能提升应优先考虑更强的视觉特征表示、基于Transformer的场景文本识别模型以及端到端的视觉-语言架构。结合基于光流的多帧像素对齐，移动摄像头和动态平台上的ALPR系统将实现更高的操作可靠性。