跨频校准注入网络(Cross-Frequency Calibrated Injection Network, CFCI)：一种用于高光谱与全色图像融合(HSI–PAN Fusion/Pansharpening)的多尺度小波域特征校准方法

《Remote Sensing》：From Structural Degradation to Semantic Misalignment: A Unified Frequency-Aware Compensation Framework for Remote Sensing Object Detection Hao Yuan, Bin Zhang, Yachuan Wang and Qianyao Qiang

　　

研究人员提出一种基于离散小波变换(Discrete Wavelet Transform, DWT)与跨频校准注入(Cross-Frequency Calibrated Injection, CFCI)的深度网络用于高光谱与全色图像融合(HSI–PAN Pansharpening)。该方法首先对浅层参考特征(P2)和深层待增强特征(Pi)分别实施二维DWT，分解为低频子带LL与高频子带{HL, LH, HH}，其中LL编码结构与语义布局，高频子带编码边缘与纹理信息。为保证跨尺度结构一致性，深层低频子带LLi经双线性上采样(Bilinear Upsampling)与3×3卷积通道–空间对齐，作为稳定结构参考。研究人员从浅层特征的三个高频子带拼接构造高频存在先验，经卷积与Sigmoid激活生成高频存在置信图Mexist∈?B×1×H/2×W/2，以软空间先验建模高频结构可靠性。深层高频子带经拼接、双线性上采样及1×1卷积投影得到对齐的高频表示Hi↑。最终通过由深层特征导出的语义约束门(Semantic Constraint Gate)对高频注入强度进行调制，将校准后的高频信息注入对齐的低频表示，重建融合结果。实验表明CFCI在Reduced-resolution与Full-resolution评价指标上优于主流对比方法，能更有效保留光谱 fidelity与空间细节，抑制高频伪影与语义无关噪声注入。

论文解读：跨频校准注入网络(CFCI)用于高光谱与全色图像融合的研究

研究背景与动机

高光谱与全色图像融合(HSI–PAN Pansharpening)旨在结合高光谱图像(HSI)的丰富光谱信息与全色图像(PAN)的高空间分辨率，生成高空间分辨率高光谱图像(HR-HSI)。现有基于深度学习的融合方法多直接在空间或光谱域操作，面临两个核心问题：(1)多尺度特征间结构不一致导致融合结果出现几何失真；(2)高频子带中无鉴别性的噪声或无关纹理被盲目注入，造成光谱扭曲与伪影。针对上述问题，研究人员开展本研究，提出跨频校准注入网络(Cross-Frequency Calibrated Injection Network, CFCI)，在离散小波变换(DWT)域显式分离低频结构信息与高频纹理/边缘信息，以浅层特征为参考对不同尺度深层特征实施跨频校准，并通过高频存在置信图与语义约束门控机制选择性注入高频成分。该研究发表于《Remote Sensing》。研究结论表明CFCI能有效提升融合质量，在保持光谱保真度的同时增强空间细节复原能力。

主要关键技术方法

采用由浅层提取分支(对应P₂，S₂∈{4,8,16}, α₂∈{2,4,8})与深层提取分支(对应P_i, S_i∈{4,8,16}, α_i∈{2,4,8})组成的多尺度特征提取骨干。对两路特征分别做二维DWT分解为{LL, HL, LH, HH}四子带。深层低频子带LL_i经Bilinear Upsample加Conv_3×3对齐至原图尺度得LL_i^↑∈?^{B×C×H/2×W/2}作结构参考。浅层高频子带拼接H₂=Concat(HL₂, LH₂, HH₂)经Conv+Sigmoid生成高频存在置信图M_exist∈?^{B×1×H/2×W/2}。深层高频子带拼接后经Bilinear Upsample与Conv_1×1投影得H_i^↑，再经语义约束门(Semantic Constraint Gate)以深层特征为来源计算空间–通道调制权重，对H_i^↑进行门控，最终将校准高频加至对齐低频子带LL_i^↑后经IDWT(Inverse DWT)重建HR-HSI。损失函数采用光谱角约束与空间梯度约束组合。在WorldView-II与QuickBird卫星HSI–PAN数据集上以Reduced-resolution与Full-resolution协议评估。

研究结果

Figure 2. Pipeline of the proposed CFCI, which performs cross-scale frequency calibration to enhance discriminative feature representations.

图示说明CFCI整体流程：多尺度特征提取→DWT分解→低频上采样对齐→浅层高频拼接生成存在置信图→深层高频拼接上采样投影→语义约束门控高频注入→IDWT重建。

Cross-Scale Frequency Decomposition via DWT

研究人员对浅层特征P₂与深层特征P_i应用二维DWT获得四频率子带{DWT(P₂)→{LL₂, HL₂, LH₂, HH₂}, {DWT(P_i)→{LL_i, HL_i, LH_i, HH_i}}。LL编码结构语义，{HL, LH, HH}编码边缘与局部纹理。通过此显式频域分解，为后续跨尺度校准提供物理可解释基础。

Low-Frequency Alignment and Upsampling (式5)

深层低频LL_i先双线性上采样再经3×3卷积调整通道数与空间尺寸，得到LL_i^↑∈?^{B×C×H/2×W/2}。研究人员指出对齐后的低频表示作为后续高频校准的稳定结构与位置参照，确保跨尺度结构一致性。

High-Frequency Existence Confidence Map from Shallow Features (式6、式7)

将浅层高频三子带拼接H₂=Concat(HL₂, LH₂, HH₂)，经卷积与Sigmoid生成M_exist∈?^{B×1×H/2×W/2}。该置信图刻画各空间位置是否存在鉴别性高频结构，非显式噪声检测，而是作为软空间先验参与后续特征注入强度调制。

Deep High-Frequency Upsampling and Semantic Gating (式8)

深层高频子带拼接后经双线性上采样与Conv_1×1投影得H_i^↑。研究人员引入由深层特征自身导出的语义约束门(Semantic Constraint Gate)计算空间–通道注意力权重对H_i^↑进行门控，防止语义无关高频噪声注入。校准后高频与对齐低频相加，经逆DWT重建输出融合高光谱图像。

Loss Function and Training

采用光谱角损失(Spectral Angle Mapper, SAM-based loss)联合空间梯度损失(L₁或SSIM-based gradient loss)约束光谱保真度与空间细节恢复。在WV-II与QB数据集上端到端训练。

讨论与结论

研究人员通过小波域跨频校准与高频存在置信建模，验证了在HSI–PAN融合中显式分离频率分量并做跨尺度结构对齐与高频可信度门控的有效性。实验结果表明CFCI在SAM、ERGAS、PSNR、SSIM、Q_2ⁿ、UIQI等Reduced-resolution与Full-resolution指标上优于传统方法(MTF-GLP-HPM、BDSD、GS等)及深度方法(PNN、PanNet、FusAtNet、PSFusion、WaveletFusionNet等)，在保持光谱曲线相似度的同时恢复更锐利空间边缘，且较少引入高频伪影。研究表明：以浅层DWT高频分布引导深层高频注入权重、以对齐低频子带维持结构一致性是该网络性能提升的关键机制；语义约束门可有效抑制不合语义的高频噪声传播。CFCI为高光谱与全色融合提供了一种具频率可解释性与自适应高频选择的深度学习框架，对后续多模态/多分辨率遥感图像融合中具有参考价值。