基于混合增强方法与YOLOv8检测器的360度视频人脸检测

《Array》：Face detection in 360-degree video using hybrid augmentation method and YOLOv8 detector

　　

360度视频中的人脸检测对于导航、交互及分析等多种应用至关重要。然而，由于视觉畸变导致人脸出现比例失调且难以辨识，准确检测此类视频中的人脸仍面临独特挑战。尽管YOLO（You Only Look Once）等深度学习算法在传统视频分析中已展现良好前景，但其直接应用于360度视频往往产生次优性能。本研究提出一种新型图像增强策略，结合畸变感知变换以应对360度视频内容中人脸检测的特定挑战。研究包含四个主要阶段：预处理、数据集增强、模型训练与超参数调优，以及目标检测。所提方法在YOLO标准增强法及先前基于等距圆柱投影（Equirectangular Projection，ERP）的增强方法基础上，使用三组立方体贴图投影（Cubemap Projection，CMP）格式视频和三组ERP格式视频进行了评估。结果表明该方法表现优异，在83%的情况下获得最高平均置信度分数，显示出其应对360度环境挑战的有效性。尽管模型产生较少的检测结果，但识别出的目标具有更高的置信度。定性分析进一步证实其优于标准YOLO及先前方法，但在极端旋转情况下仍存在困难。该研究强调了开发图像增强策略以应对360度视频人脸检测独特挑战的重要性。

本研究聚焦于360度视频技术背景下的人脸检测问题，该技术已在娱乐、教育及安防等领域得到广泛应用。然而，360度视频中存在的视觉畸变导致人脸呈现比例失调，使传统检测方法面临严峻挑战。虽然YOLO系列等深度学习算法在常规视频分析中表现卓越，但直接应用于360度视频时检测性能显著下降，故开发针对性的预处理或数据增强策略成为提升检测鲁棒性的关键路径。

现有研究虽已探索多种技术手段，包括针对鱼眼图像的锚点匹配策略、基于YOLOv8的人脸检测与特征点定位，以及等距圆柱增强方法等，但尚无全面针对360度视频中复杂多样畸变模式的图像增强策略。基于此，研究人员提出了一种混合增强策略，通过遗传算法优化超参数组合，并结合畸变感知变换以提升模型对360度视频环境的适应能力。该研究成果发表于《Array》期刊。

研究所用关键技术方法包括以下核心环节：在样本队列方面，采用公开可得的WIDERFace人脸图像数据集，该数据集包含32,203张图像及199,132个人脸边界框标注，涵盖尺度、姿态、遮挡、表情、妆容及亮度等丰富变化；预处理模块中将WIDERFace原始标注格式转换为YOLO所需的x,y,w,h格式；数据集增强阶段提出融合马赛克（Mosaic）、混合（Mixup）及复制粘贴（Copy_paste）技术的混合增强方法，并引入畸变感知变换策略，具体包括色调、饱和度、亮度调整及几何变换等参数，同时采用等距圆柱变换模拟360度视频中的球面畸变，该变换通过将球面坐标（经度?与纬度θ）映射至二维平面实现畸变模拟；模型训练与超参数调优阶段采用YOLOv8作为基础检测器，该模型由CSPDarknet53主干网络、特征金字塔网络（Feature Pyramid Network，FPN）与路径聚合网络（Path Aggregation Network，PAN）构成的 neck 组件，以及采用无锚点检测策略的 head 组件构成，超参数优化采用Ray Tune工具结合ASHA（Asynchronous Successive Halving Algorithm，异步逐次减半算法）方法，优化参数涵盖学习率、动量、权重衰减、预热周期，以及图像增强相关参数；性能评估采用精确率（Precision）、召回率（Recall）、平均精度（Average Precision，AP）及均值平均精度（Mean Average Precision，mAP）等指标，并在360度视频数据上采用置信度分数衡量检测效果。

研究结果部分按照以下结构呈现：

模型训练与超参数调优结果。通过遗传算法优化得到七项关键参数：HSV色调为0.015、饱和度为0.7、明度值为0.4、亮度因子为0.5、Mosaic概率为0.5、Mixup概率为0.5、Copy_paste概率为0.5。该配置下最优训练模型达到精确率0.84695、召回率0.57999、mAP₅₀为0.67933。

360度视频数据的目标检测结果。该研究采用跨域学习策略，将WIDERFace源域知识迁移至360度视频目标域。测试数据包含三组CMP格式视频（CMP 1："Florence, Italy - VR 360° 4K Immersive Walking Tour"；CMP 2："TEDx Portland Standing Ovation 360° VR Experience"；CMP 3："4K 360° New York City - Evening Walk to Times Square"）及三组ERP格式视频（ERP 1："VR 360 John Wick 4 Most Exciting Filming Locations"；ERP 2："VR 360 Video Coldplay Live VR Concert"；ERP 3："360° Walk NYC - Columbus Circle to Rockefeller Center"）。定量结果表明，所提方法平均置信度分数达0.5977%，优于标准增强法（0.5484）、等距圆柱增强法（0.5616）、光度学增强法（0.5334）及几何增强法（0.4627），在83%的测试视频中取得最高置信度。统计检验显示，除与光度学增强法相比外（p=0.1605>0.05），所提方法与其余方法相比均具有统计学显著性改善（p<0.05）。定性分析表明，所提方法在多数情况下检测置信度更高，但CMP视频中约90度旋转的极端姿态仍难以检测；ERP 1视频中出现将阴影误检为人脸的假阳性结果，归因于训练数据中缺乏多样化阴影样本。

讨论与结论部分。本研究证实了所提混合增强策略在360度视频人脸检测中的有效性，最高平均置信度分数达0.5977，与四种基线方法相比具有统计显著性改善。该方法在CMP 2、CMP 3及ERP 2等视频中以较少检测数量换取了更高置信度。然而，模型在ERP 1中存在假阳性问题，提示未来可将阴影去除作为预处理步骤。定性分析支持该方法优于标准YOLO及先前方法，但在极端旋转（如90度角）情况下仍存在局限。目前混合增强方法仅应用于YOLOv8检测器，但其他检测模型亦可望通过该方法获得性能提升。研究结论指出，所提混合增强策略通过畸变感知变换有效应对了360度视频中的视觉畸变挑战，为相关应用提供了可行的技术路径。