面向800 FPS高帧率短波红外图像的非均匀性实时校正方法改进

《Sensors》：Real-Time Non-Uniformity Correction Method for 800 FPS High-Frame-Rate Short-Wave Infrared Images Guiguang Su, Yueming Wang and Daogang He

本研究针对高帧率短波红外成像系统在实现实时非均匀性校正时，面临的两点校正动态范围窄、多点校正参数量存储大、参数读取时间难以匹配高速率等关键问题，提出了一种基于FPGA改进的二次多项式实时校正方法。该方法通过设计参数量化与动态位宽分配，有效提升了存储效率与校正性能，并采用乒乓缓存机制规避DDR读取延迟。实验表明，改进方法在保持参数存储量与常规两点校正相当的同时，其校正后图像平均非均匀性（0.4818%）显著优于两点校正（0.5930%），并优于两点八段校正（0.4891%），盲元补偿同步完成，在640×512阵列InGaAs探测器上实现了800 FPS的最高实时处理帧率，为高帧率红外系统的高质量实时成像提供了有效解决方案。

　　

在高速导弹红外导引头、多光谱成像、激光通信等尖端领域，高帧率红外成像系统正扮演着越来越关键的角色。然而，一个长久以来的难题严重制约着其性能发挥：当均匀的外部辐射照射到红外成像系统时，由于红外焦平面探测器本身的特性和制造工艺差异，焦平面上的各个像素会表现出与相邻像素不同的响应特性，这种响应差异被称为非均匀性。非均匀性的存在，会严重影响红外成像系统的成像质量和辐射测量精度。对于数据吞吐率极高的高帧率系统而言，在实现高速处理的同时，要完成高质量的非均匀性校正，常常成为一对难以兼顾的矛盾。因此，研究适用于高帧率成像系统的实时非均匀性校正技术，具有十分重要的意义。

当前，两点校正是实际应用中最广泛使用的方法。它计算简单、所需存储资源少、易于实现，在硬件资源有限的情况下往往是首选。然而，两点校正假设红外探测器像素响应是线性的，而实际响应往往呈现非线性。因此，其性能受制于标定点的选择，无法兼顾局部与全局的校正效果，这反映了两点校正不适用于宽动态范围的应用。为了克服两点校正的不足，研究者提出了多点校正，也称为分段两点校正，它采用折线模型来逼近红外探测器的实际响应。标定点越多，多点校正的精度越高。虽然多点校正保留了两点校正的计算简便性，且适用于更宽的动态范围，但其大量的比较操作和海量的分段校正参数存储消耗，使其难以适用于高帧率红外成像系统。此外，还有基于场景的非均匀性校正算法，如时域高通滤波法、常数统计法、神经网络法和基于配准的方法等。这些方法能够适应器件温漂、时漂引起的非均匀性变化，避免了对标定的依赖，但对场景依赖性高，且大多计算量大，过长的计算延迟难以满足高帧率成像系统中算法的实时性要求。

为了在有限的硬件资源下，同时实现良好的校正性能与短的参数读取时间，以匹配800 FPS这样的超高帧率，研究人员开展了一项名为“面向800 FPS高帧率短波红外图像的非均匀性实时校正方法改进”的研究。该研究深入分析了两点校正和多点校正的特点，结合高帧率红外成像系统的需求，提出了一种基于现场可编程门阵列（FPGA）的改进型二次多项式校正方法，并成功在硬件平台上验证了其校正性能和800 FPS下的实时处理能力。相关研究成果发表在《Sensors》期刊上。

本研究主要采用了三项关键技术方法。第一，改进的二次多项式校正算法：在传统二次多项式模型（y=ax²+bx+c）基础上，通过为不同参数（a, b, c）设计量化方法，并动态分配参数间的存储位宽，在将每个像素的校正参数存储限制在仅32比特的前提下，显著提升了存储位宽利用率和校正性能。第二，基于FPGA的硬件实现：在XC7A100T-2FGG484I型号的FPGA上构建硬件系统，实现了算法的并行流水线处理，以满足高帧率下的实时计算要求。第三，乒乓缓冲的DDR参数读取机制：采用乒乓缓冲（Ping-Pong Buffering）方式读取双倍数据率（DDR）存储器中的校正参数，有效隐藏了DDR读取延迟对参数读取时间的影响，确保了在高帧率条件下校正参数与图像数据的实时匹配。

2. 改进的二次多项式校正

• •
  2.1. 二次多项式校正原理：研究首先阐述了二次多项式校正作为非线性补偿方法的基本原理。其核心是通过最小二乘法，利用多组标定数据点（x_i, y_i）拟合出二次多项式模型y=ax²+bx+c的参数a、b、c，以最小化预测值与实际值之间的残差平方和，从而更好地适配探测器的非线性响应。
• •
  2.2. 改进的二次多项式校正：本研究的关键改进在于参数存储的优化。通过分析发现，参数a、b、c的数值范围和分布特性不同。因此，研究为参数a（二次项系数）和b（一次项系数）设计了基于2的补码（Two's Complement）的定点数量化方案，并为参数c（常数项）设计了基于无符号数的量化方案。进一步地，研究在固定的32比特总位宽内，为a、b、c动态分配了不同的位宽（例如a: 11比特，b: 12比特，c: 9比特），而非均匀分配。这种针对性的量化和动态位宽分配策略，极大地提高了有限存储位宽的利用率，使得改进后的校正参数存储大小与常规两点校正（通常每个像素2个参数，共32比特）相当，却实现了更优的非线性校正能力。
• •
  2.3. 实时性设计：为了匹配高帧率，研究采用了乒乓缓冲机制来管理从DDR内存读取校正参数的过程。两个缓冲区交替工作：当一个缓冲区正在被校正模块读取使用时，另一个缓冲区同时从DDR预读取下一帧或下一批像素所需的参数。这种方式完全掩盖了DDR读访问的延迟，保证了像素数据流到达时，其对应的校正参数已准备就绪，从而实现了参数读取与图像处理的实时同步。

3. 实验结果与分析

研究在基于XC7A100T-2FGG484I FPGA的硬件系统上搭建了实验平台，采用640×512面阵砷化铟镓（InGaAs）短波红外探测器进行验证。

• •
  校正性能对比：实验结果显示，经改进的二次多项式校正后，图像的平均非均匀性为0.4818%。这一结果显著优于传统两点校正的0.5930%，也略优于两点八段（分段）校正的0.4891%。这表明，改进方法在存储开销与两点校正相近的情况下，取得了接近多点校正的校正性能，甚至更优。
• •
  实时处理能力：该系统在完成非均匀性校正的同时，同步完成了盲元补偿。最终，在640×512分辨率下，系统实现的最高实时处理帧率达到800帧每秒（FPS），充分满足了高帧率应用的需求。
• •
  资源与性能权衡：分析指出，改进方法通过精巧的位宽设计，在存储资源占用和校正精度之间取得了良好平衡。相比需要大量存储和比较操作的多点校正，该方法更适合在资源受限的FPGA上实现高帧率实时处理。

4. 结论与讨论

本研究成功提出并验证了一种适用于高帧率短波红外成像系统的实时非均匀性校正方法。该方法通过对二次多项式校正进行参数量化与动态位宽分配的改进，有效克服了传统两点校正动态范围窄和两点多段校正参数存储量大的局限性。同时，采用的乒乓缓冲DDR读取机制，完美解决了高帧率下参数读取的延迟问题。

该研究的重要意义在于：第一，在工程实现上提供了高效解决方案。它首次在FPGA上以仅32比特/像素的存储开销，实现了接近理论水平的二次多项式校正性能，并将最高实时处理帧率推至800 FPS，为高帧率红外系统的实时高质量成像提供了切实可行的技术路径。第二，在算法与硬件协同设计上做出了示范。研究展示了如何通过深入分析算法特性（参数分布），并与硬件资源（存储位宽）进行紧耦合设计，从而实现性能的显著提升，这对于其他需要在高性能与低资源之间折中的嵌入式图像处理应用具有借鉴价值。第三，推动了高帧率红外成像技术的发展。随着高速导弹、激光通信等应用对成像速率和精度要求不断提高，本研究成果有助于释放高帧率红外探测器的全部潜能，提升相关装备和系统的性能上限。

总之，这项由Guiguang Su, Yueming Wang 和 Daogang He完成的工作，为解决高帧率红外实时成像中的核心难题——非均匀性校正，贡献了一个存储高效、性能优异且完全实时的创新方法，具有重要的理论意义和工程应用价值。