基于光学-神经网络混合方法的空间相机微振动图像位移估计研究

《Sensors》：A Hybrid Optical-Neural Network Approach for Micro-Vibration Image Shift Estimation in Space Cameras

　　

专业摘要翻译 高分辨率空间相机需要对微振动引起的图像位移进行连续感知，以用于图像质量评估及未来可能的补偿。本文提出了一项基于仿真的可行性研究，采用光学测量辅助的神经回归方法，在推理过程中无需重新求解完整有限元模型即可估计成像通道的图像位移。一个高帧率测量通道与成像通道共享主光学系统；一个轻量级、INT8量化且经结构化剪枝的常规神经回归器，根据渲染的测量帧估计由两个测量分支反射镜形成的可观测校正量；一个经过校准的灵敏度关系将同步的6号反射镜角度计量转换为相同单位，并将两者与跟踪的测量通道位移相加。在仿真双通道数据集上，所提估计器将校正均方根误差（RMSE）从0.396像素（仅质心跟踪）和0.236像素（指定的结构失配替代模型）降至0.130像素（INT8量化后为0.133像素），这与共路径补偿残差设定的0.132像素结构尺度相吻合；剩余的端到端图像位移误差0.398像素主要来自0.378像素的位移跟踪项，而非回归器。其报告的0.0150毫秒仅为基于假设的120 GOPS INT8加速器的纯计算吞吐量估计值；该值不包括传感器曝光与读出、数据传输、同步、质心跟踪及其他流水线开销。纯计算估计不能确立可实现的端到端帧率。解析误差预算将测量位移误差分解为位移跟踪、辅助计量和校正尺度项，并在1%以内复现了测量值。所建模的测量分支不观测仅成像反射镜的独立运动；物理上可实现的估计器需要辅助状态信息或经验证的机械约束。所报告的合成精度并不能确立这种可观测性；独立的射线追踪验证、光学平台实验、硬件在环测试、边缘硬件性能分析和在轨验证均未进行。

论文解读文章

一、研究背景与问题

高分辨率空间相机是现代对地观测系统的核心组成部分，其空间分辨率直接决定了测绘、灾害监测和制图产品的价值。在轨运行期间，有效载荷会受到来自反作用飞轮、低温制冷机、太阳帆板驱动机构和扫描机构等旋转机械的微振动激励。反作用飞轮是最主要的振动源之一，其扰动能量集中在数百赫兹以下，通过航天器结构传播至光学平台，引起反射镜的刚体运动，进而导致视轴抖动。在探测器积分时间内，视轴抖动表现为焦平面图像位移，累积运动使点扩散函数展宽，降低成像链路的调制传递函数。对于采用时间延迟积分方式的推扫传感器，亚像素沿轨位移即会破坏场景运动与电荷转移之间的同步，引入几何畸变。因此，微振动同时降低图像的辐射清晰度和几何精度，使得在轨图像位移表征对质量评估和主动补偿具有重要意义。

当前主流估计方法将有限元分析与加速度计测量相结合：结构模型将测量到的扰动传播至各反射镜，再通过光学灵敏度矩阵将刚体运动转换为像面位移。这种集成光机建模在设计阶段验证中较为成熟，但存在两个实际缺陷：完整航天器有限元模型构建成本高昂，且结构构型变化时必须重新修正；模型与现实的差异不可忽略，全链路分析报告仿真与地面或在轨测试之间的视轴误差为6%–11%。加速度到位移的映射因此是间接的，其精度会随在轨结构动力学演化而下降。隔振硬件可衰减传递的扰动，但只能衰减而非测量残余图像位移，仍无法向成像链路提供瞬时位移值。

现有基于图像的方法存在共同局限：它们测量焦平面上的总体图像运动，无法分离各非共享反射镜的单独贡献——而这正是灵敏度关系进行成像通道校正所需的信息；且它们作用于曝光后的成像通道，去模糊属于后处理步骤，逐帧跟踪需要高帧率传感器，而空间相机成像通道的曝光速率通常远低于扰动带宽。在共享孔径光学领域，现有系统共享孔径以提供更多光谱或视场信息，而非观测扰动：两分支共轴且携带相同场景，一分支的振动位移无法与另一分支解耦。据研究人员所知，尚无已发表共享孔径系统将一个通道用作另一通道的振动计量分支。

二、研究内容与核心贡献

针对上述问题，研究人员提出一种双通道光学布局与轻量级神经回归相结合的混合方法。测量通道与成像通道共享主镜、次镜、三镜和四镜，随后分束至高帧率可见光CMOS，从而在不中断正常成像的前提下观测振动引起的图像位移。成像通道位移被表述为测量通道位移加上三个非共享反射镜角变化量乘以其振动灵敏度之和，形成无需推理期间完整结构重解的恢复规则。研究人员进一步考察了轻量级、量化的三输出神经回归器在合成环境中的表现，使用INT8量化和剪枝研究其与标称星载计算预算的兼容性，推导了结合质心噪声、网络推理误差和灵敏度不确定性的端到端估计误差界，并在仿真数据集上对方法进行了系统评估。

三、关键技术方法

研究人员采用了以下主要技术方法：一是双通道共享孔径光学布局，测量通道与成像通道共享前四镜后分束，形成非共享反射镜的差分灵敏度；二是光学灵敏度关系推导，将反射镜角运动通过有效杠杆臂转换为像素位移；三是轻量级深度可分离卷积神经网络回归器，采用MobileNetV2倒残差构建块，从测量帧直接回归可观测校正量；四是结构化剪枝与后训练INT8量化压缩技术；五是解析误差预算分解，将端到端位移误差分解为位移跟踪、辅助计量和校正尺度三项。仿真数据由测量前向模型在线生成，包括高斯光斑、PRNU、DSNU、背景梯度和噪声模型。

四、研究结果

可观测性分析。 研究人员通过雅可比矩阵结构分析证明，仅成像反射镜在测量图像中不留下任何特征，三状态逆问题存在零奇异值，使用更多像素或更大回归器无法消除该零方向。直接回归聚合位移同样无法解决此问题。因此实验评估的是可观测校正量与解析提供的辅助镜6计量项的组合。

名义工作点精度。 在固定测试集上，仅质心跟踪误差为0.396像素；FEA式替代模型将误差降至0.236像素但仍保留失配残差；所提网络达到0.130像素，较跟踪基线降低67%，较替代模型降低45%；INT8量化后误差升至0.133像素，代价仅3毫像素。

端到端误差预算。 质心位移误差为0.378像素，辅助计量项在设定噪声水平下为0.002像素，校正项达到结构尺度0.132像素。三者正交和0.400像素与实测端到端RMSE 0.398像素吻合至1%以内。误差分解表明瓶颈在于位移跟踪项而非回归器。

线性化误差。 在仿真角度包络内，线性化误差为10??像素量级，比质心位移误差低六个数量级，小角度线性假设在整个工作范围内自洽。

量化与剪枝消融。 保留每阶段75%通道的结构化剪枝将参数从34,171降至23,614，MAC数从1.07 G降至0.60 G，RMSE代价为0.002像素；更激进的50%设置使RMSE恶化至0.018像素不可用。INT8量化使校正RMSE从0.130升至0.133像素，INT4则崩溃至0.260像素。

共享路径失配灵敏度。 共享路径放大倍率失配是最脆弱的假设。在1%失配下总RMSE从0.133升至0.135像素，2%时升至0.138像素，5%时升至0.147像素，10%时升至0.161像素。该失配从2%起主导误差，成为比预算中任何其他项更严格的要求。

辅助计量噪声与灵敏度误差。 在设定噪声水平下，辅助噪声单独贡献约0.001–0.002像素RMS，比网络误差低一个多数量级。灵敏度误差在5%时仅增加0.001像素，10%时增加0.003像素，周期性离线重校准切实可行。

时间域与频域验证。 在48–52 Hz、115–125 Hz和190–210 Hz频带及未见频带的带限轨迹上，无需重训练即可保持精度，表明方法对扰动频谱结构不敏感。

质量门控与有界保持。 对线性辅助测量基线在模拟故障下测试了通量/饱和门控与有界保持策略，无效帧被标记而非解释为物理抖动。

五、讨论与结论

研究人员指出，估计器的校正精度受共路径补偿残差设定的结构尺度限制，超越该点后校正精度由共路径参考决定而非网络容量。共享路径放大倍率匹配必须在装调时以亚百分比水平验证，任何测得的失配应折入校准灵敏度。方法在单个镜角低于约1毫弧度时安全，覆盖航天器微振动的微弧度至亚毫弧度范围。灵敏度误差在几个百分点内可容忍，周期性离线重校准切实可行。端到端误差的主要瓶颈是位移跟踪项，降低端到端误差需要更好的位移测量和更精确的共路径参考，而非更大的网络。

研究结论表明，所提出的双通道光学布局结合轻量级量化神经回归器，能够在仿真环境中以0.130像素的校正精度和0.398像素的端到端图像位移精度估计成像通道位移，无需推理期间完整结构重解。误差预算精确分解了各项贡献并识别出位移跟踪为瓶颈。然而，所报告的精度为合成数据结果，未经过独立射线追踪验证、光学平台实验、硬件在环测试、边缘硬件性能分析或在轨验证。测量分支不观测仅成像反射镜的独立运动，物理上可实现的估计器需要辅助状态信息或经验证的机械约束。未来工作方向包括独立光学验证、硬件实现、在轨测试以及将方法扩展至更一般的扰动场景。