改进的深度学习方法在聚光太阳能电站定日镜几何关键点原位检测中的应用

《Technologies》：An Improved Deep Learning Framework for In Situ Detection of Geometric Keypoints of Heliostats in Concentrated Solar Power Plants

　　

定日镜跟踪姿态的原位检测有助于提升定日镜跟踪精度并降低大规模聚光太阳能（Concentrated Solar Power, CSP）电站校准任务负载，因传统方法在校准过程中通常要求定日镜脱离太阳跟踪。研究人员提出了一种基于深度学习的定日镜表面几何关键点原位检测框架。该框架构建于YOLOv8-Pose之上，但集成了高分辨率P2特征分支以恢复在深层语义层中丢失的细粒度空间细节。此外，引入了几何一致性损失（geometry-consistency loss）以正则化预测的四边形，在动态变化光照下强制严格的结构完整性。在真实世界定日镜图像数据集上的实验研究表明，所提框架实现了25.14 FPS的端到端推理速度。检测关键点的平均端点误差（mean End-Point Error, EPE）约为1.22像素，而严格的mAP@0.5:0.95指标达到0.9823。该关键点检测框架未来可与现场定日镜控制系统集成，以进一步提升大规模CSP电站中定日镜的工作效率。

研究背景与意义

在现代可再生能源系统中，聚光太阳能（Concentrated Solar Power, CSP）电站因其经济优势和高安全性质量储能发挥着日益重要的作用。CSP电站的工作效率在很大程度上取决于数千台作为太阳跟踪装置的定日镜的跟踪精度。若精度控制不佳，会因严重的太阳能通量溢出和中央接收器上的非均匀热载荷导致电站无法达到指定输出功率，甚至缩短接收器使用寿命，因此校准定日镜跟踪精度是商业CSP电站稳定运行的常规要求。目前大多数校准方法如光束表征系统（Beam Characterization Systems, BCSs）离线或侵入式工作，需要将单个定日镜移开中央接收器将反射光束导向朗伯类靶面测量误差，校准50 MW CSP电站的所有定日镜可能耗时数周，期间动态运行误差在无补偿下累积。现代太阳能工程正从静态离线表征向动态在线伺服控制转变，需部署高频非侵入式测量仪表。近期研究开始将基于学习的视觉应用于定日镜计量，包括混合YOLOv5加霍夫变换流水线进行角点提取及下游PnP姿态估计、可微分光线追踪表面重建及AI驱动的定日镜控制综述。将视觉反馈嵌入定日镜跟踪系统控制回路面临挑战：定日镜视觉线索常被过曝光和镜场遮挡破坏，传统关键点检测器和姿态估计网络在此情况下常受结构不稳定和高频坐标抖动影响；定日镜表面高反射特性使物体视觉检测困难，镜面缺乏内在纹理，捕获图像常显示反射物体纹理，通用关键点检测器通常不适用于镜面物体，而镜面子镜边缘点在镜面背景下形成高对比度四边形，这促使了基于角点、几何感知的测量任务表述。工业视觉中常用策略是将几何先验纳入学习流水线以抑制噪声环境下的结构不一致预测，但当离轴针孔相机观察倾斜矩形定日镜时透视投影不保留平行边或直角，合适正则化应利用透视兼容信息。为弥补基于视觉的反馈控制差距，研究人员提出了专为定日镜计量评估优化的深度学习关键点检测框架，构建于YOLOv8-Pose骨干上，引入高分辨率P₂特征分支恢复细粒度边界线索，设计基于透视兼容几何一致性的几何一致性损失以提升检测精度，该框架处理吞吐量25.14 FPS，兼容伺服系统闭环控制典型延迟和频率预算，论文发表于《Technologies》。

主要关键技术方法

研究人员使用包含300张不同时间段捕获的运行定日镜高分辨率图像的真实世界工业定日镜图像数据集，每幅图像含单台由网格子镜子镜组成的定日镜，以固定TL/TR/BL/BR顺序标注各子镜四个角点及可见性标志，按8:1:1划分为训练、验证、测试集。以YOLOv8-Pose为基线检测器，在其颈部集成高分辨率P₂特征分支（有效步幅4）以保留边界高频信息，设计几何一致性损失（?_geo）结合对数边长比惩罚与对角线交点惩罚作为透视兼容正则项，总损失结合标准YOLO边界框、分类及关键点项。在NVIDIA RTX 4090D GPU用AdamW优化器训练300轮，输入尺寸640×640，启用混合精度，几何权重λ_geo设为0.05，采用保守几何数据增强。评估指标包括mAP@0.5、mAP@0.5:0.95、AR@0.5、端点误差（EPE）及端到端FPS。

研究结果

4.1. Main Ablation and Topology Check

通过消融实验隔离两个改进组件，P₂分支将EPE从2.22降至1.24像素，mAP@0.5:0.95从0.9671升至0.9847，是精度提升主要来源；在P₂基础上加入?_geo进一步将EPE降至1.22像素，而无P₂仅用损失则EPE升至2.39像素。拓扑稳定性检验中所有配置在完全可见匹配子镜上自相交、凹性、退化及无效四边形率均为0.00%，归一化对角线交点偏差分别为基线0.0025、Only_Geo 0.0031、Only_P2 0.0015、Ours 0.0016，表明?_geo在数据有限和输入退化下起正则作用而非改善拓扑。

4.2. Weight Sensitivity and Run-to-Run Variability

在P₂模型上改变λ_geo，当λ_geo在0.01至0.1时EPE在1.221至1.232像素间，无?_geo时为1.379像素，mAP@0.5:0.95在0.982至0.986间，0.011像素波动小于运行间标准差0.051像素，选λ_geo=0.05为中心值；权重0.2和0.5时EPE增至1.266和1.277像素。五随机种子重训显示所提模型相较基线平均EPE降低0.79像素（38%），95%置信区间不重叠，EPE和mAP标准差分别降低3.8和6.0倍，1.22像素结果在置信区间内。

4.3. Robustness Under the Condition of Limit Data and Image Degradation

评估?_geo在三个训练比例下的表现，其EPE优势从100%数据的0.147像素增至50%的0.366像素和25%的1.361像素；25%时EPE降低37%（3.725至2.364像素），mAP@0.5:0.95从0.885升至0.930，表明?_geo在监督有限时更有用。图像退化实验（高斯噪声、模糊、降分辨率）中无效四边形率近零，分辨率640×640降至320×320时Ours的EPE为1.43对Only_P2的2.17像素，160×160时为1.84对3.22像素；噪声标准差20时Ours保留8.9%检测率，Only_P2为3.3%，基线无，表明?_geo在视觉证据减少时益处更明显。

4.4. Comparison with a Generic Pose Estimator and Qualitative Analysis

在相同定日镜数据集评估MMPose默认自上而下配置，其mAP@0.5为0.3267，AR@0.5为0.3207，EPE为2.0139像素（仅计算检测到子镜），远低于所提模型的mAP@0.5为0.9927，表明通用人体姿态流水线不能直接迁移至低纹理镜面定日镜子镜。定性对比显示基线角点与子镜边界对齐较差（尤其饱和模糊区），P₂模型定位更准确，无配置产生自相交或退化四边形，?_geo贡献由敏感性和鲁棒性结果确立。

4.5. Runtime and Deployment Considerations

所提模型在户外眩光和局部饱和下平均EPE为1.22像素且无迭代亚像素细化，启用?_geo将95百分位误差从2.80降至2.57像素。端到端处理含预处理、推理、后处理为25.14 FPS，超太阳跟踪率约15°每小时隐含采样频率。P₂增加计算成本，640×640下所提模型94.77 M参数、1290 GFLOPs，基线P6仅4.89 M参数、33.7 GFLOPs；RTX 4090D实测推理延迟，Jetson估算为可行性预估需目标硬件实测，量化剪枝蒸馏可能影响精度待评估。现场部署需刚性挂载和定期标定及曝光控制或高动态范围采集，检测角点可支持标定相机和已知目标模型的平面姿态估计，短时滤波可减少帧级抖动，与标定滤波执行器控制集成是未来工作。

4.6. Pixel-to-Pointing Error and Influence ofCamera Calibration Error

通过开环误差传播分析图像空间角点噪声σ_px对定日镜位姿估计影响，横向位置误差Δ_trans≈σ_px·Z/f，倾斜角Δθ≈σ_px·Z/(f·A·cosθ)经n角点最小二乘拟合降约√n倍，反射光束误差为表面法线误差两倍Δ_beam=2Δ_θ，接收器光斑位移Δ_spot=D·Δ_beam。蒙特卡洛模拟用测得相机内参（f_x=1415.0 px，f_y=1416.5 px）、10.36 m方形目标、平面IPPE、每条件2000样本，零噪声得0.000 mrad，经验关系约每像素EPE每米范围0.142 mrad法线误差；40 m时1.22像素EPE估计法线误差6.9 mrad，2.22像素基线为12.6 mrad。误差预算中检测器误差σ_det、相机朝向误差σ_ori、焦距相对误差σ_f/f、主点误差σ_c、相机位置误差σ_pos分解显示焦距和相机朝向误差影响最大，主点和位置扰动影响小，表明相机刚性挂载和定期标定非常重要。

讨论与结论翻译

研究人员在文中提出一种用于聚光太阳能电站定日镜原位检测的高速、几何感知视觉测量框架。通过将YOLOv8-Pose架构与高分辨率P₂分支集成并适配特定透视兼容几何一致性损失函数，该框架恢复细粒度边界信息并在户外环境下实现更高精度几何关键点检测，真实世界数据集上平均EPE约1.22像素。该深度学习框架实现25.14 FPS端到端处理速度。尽管实验在小型CSP站进行，该方法适用于大规模商业CSP电站。本文重点在于镜面子镜关键点的原位二维图像检测而非姿态估计算法，深度学习框架输出子镜关键点图像坐标，定日镜跟踪姿态在线估计可利用这些关键点和结合优化与EPnP算法的另一模块完成。需指出报告吞吐量基于指定硬件，现场处理速度依赖部署硬件计算速度和内存大小，认为可通过通道剪枝、知识蒸馏等进一步压缩骨干网络以加速目标平台处理速度，此类压缩可行因几何约束在训练阶段而非推理阶段施加。