基于网格的无标定视频监控行人跟踪及其快捷边方法

《Egyptian Informatics Journal》：Calibration-free grid-based pedestrian tracking with shortcut edge for video surveillance

　　

多目标跟踪(MOT)因在自动驾驶感知中分析行人与障碍物行为等广泛应用而备受关注。传统基于网格的跟踪方法通常易受检测失败影响，因为时间相邻帧间的连接无法承受此类瞬时错误，而长期连接作为快捷边可弥合这些失效间隙。研究人员通过引入深度度量长期快捷边重构基于网格的方法，其中采用孪生卷积神经网络(Siamese CNN)生成相似度分数。现有多数基于网格的方法在跟踪前须进行标定，研究人员认为此举非必需。标定极大限制跟踪应用，且不适应部分人类行为分析的实际场景。该方法转而采用基于检测的策略估计网格模型映射，使用户免去不便的标定过程。研究人员在多个广泛使用的基准上验证了长期快捷边与无标定策略：长期快捷边使多目标跟踪准确度(MOTA)提升近16%，无标定策略可产生相当结果。与其他流行方法的对比证实了该跟踪器的性能优势。

研究背景与动机：多目标跟踪(MOT, Multi-Object Tracking)在活动分析、航空监视及人类行为分析中具有关键作用，tracking-by-detection（检测后跟踪）范式因抗发散性强而被广泛采用。基于网格的跟踪通过将时空离散化为有限节点与边，将关联问题转化为凸整数线性规划，从而降低计算成本，适用于资源受限场景。然而传统网格方法仅建模时间相邻连接（t与t+1），单次检测失败即造成轨迹断裂或身份切换(IDSW)；此外多数方法依赖相机标定建立网格映射，而实际监控序列常缺标定参数，限制适用性。为此，研究人员重构网格公式，引入长期快捷边(long-term shortcut edge)以跨帧桥接检测失效间隙，并提出无标定校准自由(calibration-free)的网格回归建模，仅利用检测结果估计透视变换与单元尺寸。论文发表于《Egyptian Informatics Journal》，其意义在于兼顾鲁棒性与部署便利性，使网格跟踪脱离标定束缚并抵抗遮挡与检测漏报。

主要关键技术方法：研究采用tracking-by-detection流程，先以修改版ACF检测器获取各帧边界框；利用所有检测框的纵向位置与宽度做最小二乘线性回归（y=ar+b）得到地平线与透视压缩率，再采样图像梯形与世界矩形四点求解单应矩阵(homography) T_trans，将世界坐标正六边形网格反变换至图像得最终网格图；节点代价取检测后验概率ρ_i^t，邻边与长期边代价由孪生卷积神经网络（两分支权共享，三层卷积7×7Conv64/3×3Conv128/3×3Conv256加三层全连2048/1024/512，对比损失训练）输出的外观相似度嵌入；长期快捷边候选受时空可达性（Δt≤t_{max_diff}=6、邻域连通）与相似度阈值S_th=0.8双重过滤，冗余边抑制；全局优化沿用K-shortest path(KSP)解整数规划，后接卡尔曼滤波平滑。训练样本来自HiEve与部分PETS09的检测块（以Munkres匹配赋GT-ID），批量512、SGD学习率0.01阶梯衰减。

研究结果：

1. 3.
   Grid-based tracking with the long-term shortcut edge：研究人员将传统网格IP问题（节点变量m_i^t、流变量f_i,j^t）重写为含检测对数比与边似然比的目标函数，证明在条件独立假设下可拆解为节点项与边项之和；长期边作为非相邻时间边的扩充被纳入可行集H，使优化在检测断帧时仍可通过高相似度外观直接连跳。
2. 4.
   Multi-object tracking framework：框架分两阶段建网格（节点生成+边生成）再KSP解轨。阶段一以无标定回归得六边形网格并将检测脚点投至格位；阶段二建邻边（融合深度度量）与长期快捷边（同Siamese打分、阈值保留），空节点与空边给默认ρ_empty=?3.8、ψ_empty=0.8。
3. 5.
   Appearance similarity based long-term shortcut edge：限定长期边两端须有检测、Δt≤6且邻域可达，Siamese网络以6通道拼接块输入输相似概率，仅留>0.8者；该机制在PETS-S2L2消融中使MOTA由40.2升至45.8（LE+CF），IDSW由256降至231，证实其抗碎片与抗切换能力。
4. 6.
   Grid regression modeling：假设近似水平相机、地面平、视角静；宽高线性回归推地平线b与斜率a，由y₁=max(b+10,0)、y₂=h及对应r₁,r₂算世界纵向跨度y_wd，取格宽r_w=40px；图像等腰梯对世界矩形解T_trans；六边形邻域（6邻+自）使t+1可达19格锥状时空。无标定变体(LE+CF) MOTA 45.8略优于有标定LE(45.8同表但CF项表明相当)，说明严格3D网格在透视大时反损性能。
5. 7.
   Experiments and evaluation：在HiEve、KITTI-16/19、PETS-S2L1/L2、TownCentre共19825帧以相同ACF检测输入对比TPM、CenterTrack、GMPHD-ReId、TBD、CEM等；HiEve MOTA 36.6（优于TPM 33.6），PETS-S2L1 MOTA 80.4（CEM 72.2），TownCentre 18.1（TC_ODAL 1.6），KITTI-16 33.3；消融表3证长期边+无标定组合最优，t_{max_diff}=6、r_w=40为灵敏度拐点。

讨论与结论翻译：研究人员论证传统网格跟踪因仅连t/t+1而对检测失败脆弱，所提长期快捷边借Siamese深度外观度量跨至多6帧直连高置信检测，将PETS-S2L2的MOTA提升近16%；无标定网格回归通过检测统计拟合透视、免除外参，性能与手工标定相当甚至更优（避严3D格畸变）。二者结合在密集人群、相机运动(KITTI)、长时遮挡(TownCentre)下均降IDSW与FN，全局KSP延迟决策利用全序列时空上下文抑制伪检。结论为：该无标定+长期快捷边网格跟踪器在广泛基准上以同检测输入超越多数对比法，证实标定可弃、长期外观边是网格MOT抗断轨的有效重构。