面向空间轨道交会场景的基于物理的扩散模型热图像生成

《Acta Astronautica》:Physics-based diffusion model for thermal image generation in space orbital rendez-vous scenarios

【字体: 大 中 小 】 时间:2026年08月29日 来源:Acta Astronautica 3.7

编辑推荐:

  本文提出了一种创新的物理信息扩散框架,用于在航天器交会在轨服务(OOS)场景中从可见光波段观测生成热红外图像。据研究人员所知,这是首个针对空间近距操作量身定制的可见光到热红外转换的基于学习的方法,其中强烈的跨光谱外观变化和空间特有的环境效应限制了传统图像到图像

  
本文提出了一种创新的物理信息扩散框架,用于在航天器交会在轨服务(OOS)场景中从可见光波段观测生成热红外图像。据研究人员所知,这是首个针对空间近距操作量身定制的可见光到热红外转换的基于学习的方法,其中强烈的跨光谱外观变化和空间特有的环境效应限制了传统图像到图像方法的适用性。所提出的模型采用复合多特征表示进行条件训练,旨在弥合可见光和热红外波段之间的模态鸿沟,并提高在不同光照和视角几何条件下的鲁棒性。训练遵循多阶段策略,将标称生成与应用于采样输出的精炼阶段相结合,从而提高结构保真度并减少伪影。最后,研究人员引入了一种模型驱动的物理约束,将辐射温度嵌入学习目标中,引导精炼阶段趋向物理一致的辐射模式并增强真实感。在代表性交会配置中的实验表明,该方法产生了更清晰、更合理的热红外渲染,同时保留了目标几何及其关键的热显著特征,支持交会操作中的下游感知任务。
**研究背景与意义**

近年来,空间探索吸引了大量商业和机构兴趣。截至2025年第二季度,全球太空经济已超过6000亿美元。在近距操作中,可靠的相对导航对于近距离交会(RV)任务至关重要。相对导航解决目标航天器相对于追踪航天器的六自由度(6-DoF)位姿估计问题。传统方法依赖LiDAR等主动传感器,但存在功耗、质量和系统复杂性增加的问题。近年来研究转向被动视觉系统,尤其是单目配置。然而,可见光波段图像在目标被遮挡或阴影严重时位姿估计变得不适定。长波红外(LWIR)图像在轨道恶劣光照条件下具有更强的鲁棒性。然而,面向航天器相对导航的热红外数据集极为有限,唯一公开可用的热红外数据集是基于SPEED数据集的扩展版本,其随机位姿采样限制了其在交会轨迹等序列场景中的适用性。为弥合这一数据缺口,研究人员提出了一种物理信息去噪扩散概率模型(DDPM),用于从可见光图像生成合成热红外图像。该研究发表于《Acta Astronautica》,为空间交会场景中多光谱位姿估计提供了重要的数据生成手段。

**关键技术方法**

研究人员采用了条件DDPM架构,以U-Net为主干网络,使用包含灰度可见光图像、边缘图和三个多尺度显著性图的五通道条件输入张量进行训练。训练采用多阶段策略:第一阶段为标准DDPM噪声预测训练,第二阶段为精炼网络训练,引入了基于材料追踪图的物理约束。材料追踪图通过Blender渲染深度图、材料索引图和表面法线图构建,结合灰体辐射测温模型估算辐射温度代理量。推理阶段采用DPM-Solver进行高效采样。样本队列来源于Astos数据集,包含Envisat卫星的13条交会轨迹,按100帧区间划分为80/10/10的训练/验证/测试集。

**研究结果**

*性能指标*

研究人员采用FID、PSNR、LPIPS和SSIM四种评价指标,在1000张测试图像上对模型进行了评估。与Pix2Pix、CycleGAN、VSAIT、ECDM和LPTN等基线方法相比,所提方法在所有四项指标上均取得最佳性能,FID为25.5570,SSIM为0.9838,LPIPS为0.0161,PSNR为40.3766 dB,反映了结构保真度和感知相似性方面的显著提升。

*多通道条件输入对基线模型的影响*

为验证性能提升是否仅源于额外输入通道,研究人员使用相同的五通道条件张量重新训练了竞争方法。结果显示,Pix2Pix从五通道输入中获益最大,PSNR提升至35.7997 dB,但CycleGAN、VSAIT和ECDM并未表现出相同改善,部分甚至出现退化。这表明仅增加可见光域条件信息不足以在所有架构中获得一致提升,所提方法的改进不能仅归因于额外输入通道,而是多通道条件、扩散生成、精炼网络和物理约束的综合作用。

*消融研究:直接回归、精炼与物理约束*

消融实验比较了直接U-Net回归、含物理约束的直接回归、粗略扩散输出、无物理约束的完整级联和完整模型。直接U-Net达到36.9473 dB PSNR,加入物理约束后提升至38.8887 dB。粗略扩散输出仅为14.5102 dB,加入精炼网络后提升至34.0978 dB,再加入物理约束后达到最佳性能40.3766 dB。这证实材料追踪图对直接回归器和扩散-精炼级联均有改善作用,最佳结果仅在生成式扩散先验、精炼网络和物理约束三者结合时获得。

*微测辐射热计噪声鲁棒性*

研究人员在物理约束中注入受控零均值微测辐射热计噪声以评估精炼阶段的敏感性。在40 mK噪声下,PSNR保持在36.1834 dB但SSIM降至0.8964;在60 mK和80 mK下退化更明显。这支持使用平均响应作为默认训练目标,并表明模型在中等噪声下仍可运行,但精确的辐射条件对保持物理精炼的完整优势也很重要。

*计算代价*

在512×512分辨率下,所提完整级联每张图像耗时14.62秒,其中扩散采样阶段占14.53秒,精炼网络仅增加411.39毫秒。虽然比单次前向传递的GAN和CNN基线更慢,但在生成精度和物理一致性方面的优势使其适用于航天器交会分析、数据集生成和下游感知算法验证等非实时应用场景。

*适用性与合成到真实域的差距*

实验在合成Astos数据上进行,PSNR、SSIM、LPIPS和FID值应理解为域内合成结果。真实LWIR图像可能受传感器噪声、光学模糊、校准失配等因素影响,直接迁移到真实观测时性能可能下降。目前不存在公开可用的真实在轨像素对齐可见光/LWIR配对数据集,未来工作应通过获取真实配对数据和引入传感器感知退化来缩小合成到真实的差距。

**讨论与结论**

研究人员总结指出,本文提出了一种面向航天器交会场景热红外图像生成的物理信息扩散模型。该框架采用多特征表示对扩散模型进行条件化,第一阶段遵循标准DDPM目标训练,第二阶段在DPM-Solver采样的粗略样本上通过重建损失、边缘损失和基于材料追踪图的物理约束进行精炼。材料追踪图结合材料发射率和几何观测构型,从热红外图像中构建辐射温度代理量作为精炼过程中的监督信号。实验结果证实,该学习目标在生成样本的视觉质量和与真实数据的分布相似性方面带来显著提升,同时为下游感知任务提供额外益处。未来工作应将数据集生成管道扩展至Envisat之外的更多航天器模型,探索将材料追踪图直接用作生成模型条件输入,并研究所提框架在不同图像分辨率下的行为表现。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号