通过稀疏残差学习实现的双模态事件帧融合，用于盲星图像运动去模糊

《Optics and Lasers in Engineering》：Dual-modality event-frame fusion for blind star image motion deblurring via sparse residual learning

传统星像获取系统受限于单传感器全帧曝光成像机制，动态环境下易产生显著运动模糊，严重制约后续星像识别精度。本文提出一种新型双模态盲星像去模糊框架，融合时空对齐的事件流与模糊帧实现高质量星像重建，无需预设运动参数。针对星像稀疏特性，设计了基于稀疏残差的中间特征表示网络，采用全向卷积核提取星点运动轨迹特征，并集成双模态融合模块与通道注意力块实现有效信息融合。构建了U-Net-like残差协作学习网络，通过稀疏FFT残差块学习稀疏残差序列，结合物理运动模糊模型完成清晰星像重建。由于缺乏同时包含运动模糊星像和对应事件数据集，自主构建了合成EF-Onorbit数据集和真实EF-Blurstar数据集。实验表明该方法在合成和真实数据集上均优于现有方法，有效恢复星点能量分布结构并减少伪影。

　　本研究提出了一种新颖的双模态盲星图像去模糊框架，旨在解决传统星图像采集系统在动态环境中受到运动模糊影响的问题。传统星图像采集系统依赖于单一传感器的全帧曝光机制，这种机制在高速运动条件下容易导致星点图像出现显著的运动模糊，从而限制了后续星图像识别任务的精度。为克服这一关键局限，本文设计了一种融合时空对齐的事件流与模糊帧的双模态去模糊方法，能够在不依赖先验运动参数的情况下实现高质量的星图像重建。

星图像的稀疏特性是本研究的重要考量因素。星图像中，每个星点的亮度分布通常集中在少数像素上，而背景则相对暗淡。因此，为了更有效地提取星点运动特征并进行去模糊处理，本文专门设计了一种基于稀疏残差的中间特征表示网络。该网络能够以更高效的方式捕捉星点在图像中的运动轨迹，并通过残差学习策略来重建清晰的星图像。此外，研究中引入了全方位卷积核来提取星点的运动特征，同时结合双模态融合模块和通道注意力机制，以实现图像与事件信息的有效融合。

在图像处理领域，传统的运动模糊图像去模糊方法通常需要先验的运动参数信息，如运动轨迹、速度和角度等。这些参数往往由附加的传感器或仪器提供，例如角速度计。然而，在实际应用中，特别是在航天器的星传感器系统中，获取这些参数可能并不容易，甚至在某些情况下无法实现。因此，盲去模糊方法成为研究的热点，这类方法仅依赖于模糊图像本身，而不依赖于任何额外的运动信息。然而，盲去模糊方法在复杂运动场景下的模糊核估计精度往往较低，且对图像的先验知识要求较高，限制了其在实际星图像处理中的应用。

近年来，事件相机（event camera）因其高时间分辨率和高动态范围而受到广泛关注。事件相机不同于传统相机，它能够以微秒级的时间间隔输出像素级的亮度变化，而非依赖于固定的帧曝光机制。这种机制使得事件相机能够在高动态条件下捕捉到丰富的运动特征，同时避免了传统相机因长曝光时间而产生的运动模糊问题。在星图像采集方面，事件相机展现出显著的优势。其异步事件生成机制能够精确地定位星点在高动态环境下的运动轨迹，而其高动态范围（通常超过120 dB）则使得星传感器能够在不饱和的情况下同时观测到亮星和暗星。此外，事件相机在低光天文条件下表现更佳，因为它仅对实际亮度变化做出响应，而不是通过长时间积分累积读出噪声。

基于事件相机的这些特性，本文将事件信息引入星图像去模糊任务，并与传统图像帧进行融合。一方面，图像帧能够保留星点的能量和结构分布，从而有助于抑制事件数据中的噪声；另一方面，事件数据能够识别模糊图像中的独特边缘，并消除由相机运动引起的条纹现象。这种融合策略充分利用了事件相机的低延迟和边缘感知能力，以及传统相机的丰富强度信息，从而在星图像去模糊任务中实现更高的精度和鲁棒性。

本文提出的双模态星图像去模糊网络架构称为EF-SIMD（Event-Frame Star Image Motion Deblurring）。该架构的核心思想是利用残差序列作为中间变量，建立模糊图像与清晰图像之间的联系。在前端，设计了一个新颖的特征融合骨干网络，用于从图像和事件模态中提取并融合信息。该网络包括一个基于全方位卷积核的特征编码模块，以及一个基于协调注意力的跨模态融合模块。特征编码模块用于提取星点的全局和局部运动轨迹特征，而跨模态融合模块则用于融合星点的事件和图像特征，以增强对运动模糊特征的识别和分离能力。

在后端，本文采用U-Net架构作为残差学习网络的基础，并设计了融合空间和频率域信息的残差块。这些残差块进一步连接了特征提取模块和特征融合模块，使得网络能够在去模糊过程中同时考虑空间和频率域的信息一致性。通过将残差序列添加到模糊帧中，最终实现清晰星图像的重建。该方法在不依赖先验运动参数的情况下，能够有效地分离和消除运动模糊，从而提升星点定位的精度和星图像识别的可靠性。

为验证所提出方法的有效性，本文构建了两个综合数据集：合成数据集EF-Onorbit和真实数据集EF-Blurstar。这两个数据集分别用于网络的训练和评估。EF-Onorbit数据集通过模拟高动态环境下的星图像采集过程，生成包含运动模糊的星图像及其对应的事件数据。EF-Blurstar数据集则基于真实星图像采集设备获取的星图像数据，通过实验验证运动模糊的实际情况，并生成相应的事件数据。这些数据集的构建为评估双模态去模糊方法提供了可靠的基准。

实验结果表明，EF-SIMD在合成数据集EF-Onorbit和真实数据集EF-Blurstar上的表现优于现有方法。具体而言，该方法在重建星点能量分布结构方面取得了显著提升，并有效减少了图像中的伪影。通过定量和定性对比实验，研究者发现EF-SIMD在运动模糊星图像恢复任务中表现出更高的图像重建保真度和星图像识别精度。此外，通过消融实验，进一步验证了不同网络结构和残差策略对去模糊效果的影响，确认了所提出方法的优越性。

本文的主要创新点包括三个方面。首先，引入事件信息并将其与图像帧进行融合，以实现星图像去模糊任务。这一方法充分利用了事件相机和传统相机在高动态条件下的互补特性，提升了星点定位精度和星图像识别的鲁棒性。其次，提出了一种双模态盲星图像去模糊网络架构，通过并行特征提取和跨模态注意力融合机制，构建稀疏残差序列作为中间变量，从而显著增强了模型对星图像运动模糊特征的分离能力。最后，构建了两个事件-图像融合的星图像去模糊数据集，即合成数据集EF-Onorbit和真实数据集EF-Blurstar。通过这些数据集的定性和定量评估，研究者证明了所提出方法的有效性和可靠性。

星图像去模糊技术对于高精度航天器姿态测量具有重要意义。在高动态条件下，传统星传感器的运动模糊问题会严重影响星点定位精度，进而影响姿态测量的准确性。因此，开发适用于高动态环境的星图像去模糊算法，是提升星传感器性能的关键。本文提出的EF-SIMD方法，通过引入事件信息和融合图像帧，能够更准确地恢复星图像中的运动模糊特征，从而提高星点定位的精度和姿态测量的可靠性。该方法不仅在理论上具有创新性，而且在实验验证中也表现出良好的性能，为未来星传感器的高精度姿态测量提供了新的技术路径。

此外，本文还探讨了星图像去模糊方法的发展趋势。随着深度学习技术的不断进步，越来越多的研究开始关注如何利用神经网络模型来提升星图像去模糊的效果。然而，传统的深度学习方法在处理复杂运动模糊场景时仍存在一定的局限性，例如对先验知识的依赖、对数据量的需求以及对特定运动模式的适应能力不足。因此，本文提出的双模态方法在这些方面进行了改进，不仅减少了对先验运动参数的依赖，还通过融合事件和图像信息，提升了模型对复杂运动模糊特征的识别和分离能力。

在实际应用中，星图像去模糊技术不仅适用于航天器姿态测量，还可以应用于天文观测、机器人视觉等领域。特别是在天文观测中，星图像的清晰度直接影响到天体定位和轨迹分析的精度。因此，开发高效的星图像去模糊算法，对于提升天文观测的准确性具有重要意义。本文提出的方法在这一领域同样展现出良好的应用前景，能够有效应对高动态环境下的星图像模糊问题，为相关领域的研究提供新的思路和技术支持。

综上所述，本文提出的EF-SIMD方法在星图像去模糊任务中表现出色，能够有效克服传统方法在高动态条件下的局限性。通过引入事件信息和融合图像帧，该方法不仅提升了星点定位的精度，还增强了星图像识别的鲁棒性。构建的EF-Onorbit和EF-Blurstar数据集为后续研究提供了宝贵的资源，而实验结果也验证了该方法的可行性和有效性。未来，随着事件相机技术的进一步发展和应用，双模态星图像去模糊方法有望在更多领域得到推广和应用，为高精度星图像处理提供更强大的技术支持。