PRISM：面向双波段红外缺陷像素簇的特征引导分层修复方法

《Sensors》：PRISM: Feature-Guided Hierarchical Inpainting for Dual-Band Infrared Defective Pixel Clusters

　　

本文提出一种专为双波段红外探测器设计的特征级缺陷像素簇(DPC)校正方法。由于制造工艺限制，基于Ⅱ类超晶格(T2SL)的锑化物焦平面阵列(FPA)普遍存在DPC问题。现有DPC校正方法常无法保留双波段成像特性，导致纹理失真与结构恢复不完整。受红外成像机制与图像补全理论启发，研究人员提出PRISM，一种基于块重建的框架，利用跨波段结构迁移与分层特征分解，将双波段图像解耦为微纹理、边缘梯度与空间关系。借助该多级特征表示，提取先验信息以引导DPC校正。校正过程被建模为“结构到像素”的优化问题，其中改进的特征引导块搜索策略有效结合结构补全与纹理重建。实验结果表明，所提方法不仅能有效恢复图像内容，还忠实保留波段特有成像特性。此外，为便于定量评估，研究人员构建了一个包含模拟DPC及对应真值(ground truth)的基准数据集。在自建数据集与公开多模态基准上的对比实验证实，PRISM在峰值信噪比(PSNR)、结构相似性(SSIM)、视觉信息保真度(VIF)与相关系数(CC)指标上均优于最先进的多模态补全方法。

研究背景方面，第四代双波段红外焦平面阵列(FPA)尤其是基于锑化物Ⅱ类超晶格(T2SL)材料的短波/中波红外(SWIR/MWIR)探测器，因可同时捕获反射太阳辐射与热自发射信息，在行人重识别、图像融合与伪装目标检测中潜力显著。然而T2SL外延层在台面刻蚀与钝化过程中易产生大面积缺陷像素簇(DPC)，破坏图像连续性与双波段融合优势。现有单波段方法（邻域均值、高斯滤波、场景法）仅擅长孤立点缺陷，双波段方法如DSL/DIP依赖像素级强度映射，在SWIR反射与MWIR热辐射物理信号异构时失效，而深度学习补全（如PEIPNet、ZITS++）需大规模训练且易生成与目标波段辐射特性不符的结构。因此亟需特征级跨波段迁移且无训练负担的校正框架。

关键技术方法上，研究人员以自研SWIR/MWIR T2SL探测器（斯特林制冷87 K，MWIR噪声等效温差低于30 mK，SWIR低于60 mK）采集28组城市场景序列共2800对图像，叠加真实盲元掩膜模拟大面积DPC构建带真值基准；并在DroneVehicle、TNO、M3FD、FMB四个公开可见光-长波红外数据集验证泛化性。方法核心含两阶段：跨波段多级特征分析(CMFA)将图像解耦为空间层（平面检测与周期正则）、边缘层（自适应Canny阈值与强弱边联合提取）、纹理层（相对全变分分离辐射与纹理后MeanShift聚类贴标）；多级特征引导重建(MFGR)以五层金字塔粗到细迭代，依次执行结构传播（锚点+周期推断+最小二乘偏移对齐）、纹理重标（贝叶斯后验跨波段标签迁移）、块采样（改进PatchMatch加入语义约束传播与后验引导采样及跨平面单应校正），目标函数融合外观、正则、纹理、邻近与邻域五项代价。

研究结果部分，第三章提出方法主体。3.1跨波段多级特征分析中，空间层利用SWIR高几何保真度提取消失点与平面归属概率，经平面单应矩阵H_p矫正周期失真；边缘层以改进Pratt优值最大化自适应寻优MWIR阈值，用跨波段梯度能量比ω区分共有边与热独有边；纹理层用相对全变分拆出辐射强度与纹理强度组成联合特征向量f_ij，MeanShift得标签图L。3.2多级特征引导重建中，结构传播以边界锚点加虚拟锚点补周期结构，全局位移Δ对齐后置信度衰减传播；纹理重标由SWIR观测算类后验再经联合高斯条件推断映到MWIR标签后验P(l_MW|f_SW)；目标函数式(5)总代价E=α_appE_app+E_coh，其中E_coh含周期性代价E_reg（式8）、纹理负对数代价E_tex（式9）、邻近代价E_prox（式10）、邻域指数核代价E_nb（式11）；块采样用语义约束把结构块搜素限骨架、纹理块限同标签区，后验引导按P抽样源位置，跨平面单应消除仿射畸变。第四章实验评估表明，消融研究中逐步加入空间、边缘、纹理引导使PSNR从20.87 dB升至25.03 dB，LPIPS降至0.0108；五数据集平均PRISM获PSNR 26.06 dB、SSIM 0.8266、VIF 0.6238、CC 0.9191，优于DIP、DSL、Huang等及PEIPNet，仅LPIPS/FID略逊生成式ZITS++；在架构、石雕、TNO屋檐、M3FD海滩行人四类场景中PRISM避免DIP的反射伪影、Huang的边界模糊与PEIPNet直角幻觉；效率上CPU单帧4.21 s、内存70.4 MB，虽慢于GPU深度学习但训练免费适合SWaP受限平台。

讨论与结论部分，研究人员指出PRISM以特征级跨波段迁移克服像素映射在反射/热辐射异构时的失效，通过CMFA三级解耦与MFGR粗到细迭代兼顾大区域DPC结构与波段辐射保真，在自研T2SL数据集与公开多模态集均证明显著优势。结论确认：PRISM为双色T2SL FPA大面积盲元簇提供无训练、物理可解释、保留波段特性的鲁棒方案，对比同期最优多模态补全在保真度指标全面占优，仅在感知指标略让位于生成模型，其价值在于资源受限红外端侧的可部署性。论文发表于《Sensors》。