利用遥感和机器学习技术绘制普伦蒂萨橡树（Quercus pyrenaica (Willd.)）森林的空间分布图及其近期变化 伊莎贝尔·帕索斯（Isabel Passos）、 卡洛斯·维拉-维索萨（Carlos Vila-Vi?osa）、 玛丽亚·玛格丽达·里贝罗（Maria Margarida Ribeiro）、 阿尔巴诺·菲格雷多（Albano Figueiredo） 以及若昂·冈萨维斯（Jo?o Gon?alves）

《Remote Sensing》：Mapping Spatial Patterns and Recent Changes in Quercus pyrenaica (Willd.) Forests Using Remote Sensing and Machine Learning Isabel Passos, Carlos Vila-Vi?osa, Maria Margarida Ribeiro, Albano Figueiredo and Jo?o Gon?alves

　　**亮点**
- 主要发现是什么？
- 开发了一种基于主成分的新方法（PCSS），该方法具有高度准确性，用于将测量的光谱标准化到标准的波长网格上。
- 该方法通过模拟光谱和真实测量数据进行了验证。

**主要发现的意义是什么？**
- 高精度和低不确定性使得不同卫星传感器之间的光谱标准化和校准变得可靠。
- 该方法计算效率高，适用于实际操作。

**摘要**
- 开发了一种基于主成分的光谱标准化（PCSS）方法，用于将高光谱辐射光谱标准化到固定的波长网格上。这使得可以直接比较成像光谱仪不同空间像素之间的辐射或反射光谱，或者不同仪器之间的光谱。该方法使用模拟的气候绝对辐射和折射率观测站（CLARREO）Pathfinder（CPF）光谱进行了验证。PCSS方法显示出高精度：所有CPF通道的平均均方根不确定性保持在0.07%以下，单个通道的最大不确定性低于1%。与基于光谱插值的方法相比，PCSS产生的偏差显著更低，误差分布更紧密，尤其是在光谱丰富的区域。测量的用于气候科学的高光谱成像仪（HySICS）气球数据进一步证明了其准确性。即使使用近似的雅可比矩阵，PCSS也能成功估计出与测量数据非常接近的波长偏移，显示出该方法的稳健性。由于该方法依赖于预计算的模型参数查找表，因此无需进行复杂的辐射传输计算，计算效率高。
- 除了CPF之外，该方法可以通过替换相应的波长网格和仪器线形函数，轻松适应其他高光谱传感器，为不同卫星传感器之间的交叉校准提供了一个强大的工具。

**1. 引言**
- 气候绝对辐射和折射率观测站（CLARREO）Pathfinder（CPF）将进行高精度（0.3–0.6%，1-sigma）的地球反射率测量，并作为其他仪器（如云和地球辐射能量系统（CERES）[2,3]和可见红外成像辐射计套件（VIIRS）[4,5]）在轨校准的参考。CPF测量的高精度对于严格的气候监测至关重要。CPF是一种高光谱成像（HSI）系统，能够在350–2275 nm范围内（约3 nm采样间隔）以0.5 km的空间采样率测量地球反射的光谱反射率和辐射率。CPF具有640×480的二维焦平面阵列（FPA）。CPF在轨使用汞氩准直光源进行定期的光谱校准，因此整个任务期间中心波长都是已知的[6]。详细的发射前仪器特征化活动包括测量FPA中每个像素的中心波长（CW）和仪器线形（ILS），结果显示由于光路畸变，640个通道中的CW和ILS在480个空间像素上是不同的。
- 对于任何涉及CPF测量的下游分析，包括校准数据处理，必须将每个通过狭缝测量的光谱调整或标准化到一致的波长网格。例如，在CPF-CERES和CPF-VIIRS校准处理流程中，CPF光谱需要在校准样本上进行空间卷积，但如果每个光谱都使用不同的波长网格定义，则无法准确完成这一过程。为了解决这个问题，必须将光谱标准化到一个具有相同仪器线形函数的共同波长网格上。
- 通常可以使用线性插值将光谱重新采样到固定的波长网格[7]；然而，在光谱特征丰富的区域，线性插值可能会导致相对较大的误差。在这项工作中，我们开发了一种新的、计算效率高的基于主成分的光谱标准化（PCSS）方法，可以用于标准化来自高光谱仪的测量数据，包括CPF。

**2. 方法论**
- 我们假设一个标准化的类似CPF的光谱??0具有从350 nm到2300 nm的固定波长网格，间距为3.05 nm。对于模拟数据，这些标准化的类似CPF的光谱可以通过将高分辨率辐射光谱与各自的ILS函数进行光谱卷积来生成，每个ILS的中心波长都位于固定波长网格上。非标准（测量）光谱????1??是通过使用非标准的二维波长网格与ILS函数进行光谱卷积获得的，其中每个通道的辐射变化（ΔR）是由于与标准网格相比的波长偏移和ILS变化引起的，如图1a所示。图1显示了（a）主成分的训练和（b）非标准（测量）光谱的标准化过程。对模拟的标准CPF光谱应用主成分分析（PCA），得到??0=??0??0（1），其中??0是标准光谱??0的主成分（PC）矩阵，??0是相应的主成分得分矩阵。??0的维度为nch×ns，nch是通道数，ns是样本数。PC矩阵??0是一个单元矩阵，维度为nch×nch。PC矩阵的列彼此正交。可以减少??0的列维度至npc0，其中npc0 - 非标准光谱根据图1b所示的流程图标准化到标准波长网格。如果训练数据库包含非标准cpf光谱的光谱特征，可以通过~??=???1????1??（4）获得光谱的pc得分，其中??=[??0,???]，???1是??的伪逆。需要注意的是，??矩阵不是单元矩阵，因为???a?n?d???彼此不正交。使用方程（4）获得的pc得分可以分为两部分，即~s=[~???,~???（5）。得到的~???和~???与方程（1）和（3）中的不同。因此，波长偏移引起的辐射变化表示为~???=???????（6）。在固定波长网格上标准化的光谱表示为???????????=????1???~???（7）。在下游分析（如cpf-ceres和cpf-viirs校准数据处理）中使用的就是这些标准化后的cpf光谱。
- 从辐射矩阵??0中得到的主成分???代表了不同场景中的独立光谱变化模式。这些成分涵盖了广泛的物理和仪器因素，包括大气剖面变化、表面反射率、照明和观测几何、痕量气体吸收、瑞利散射、云层、气溶胶以及仪器线形函数的变化。通过保留最重要的pc，pcss方法有效地隔离并模拟了大气顶层（toa）辐射的真实物理方差，同时过滤掉了高频传感器噪声和在丢弃的尾部成分中捕获的数值伪影。此外，从辐射差分矩阵???中得到的主成分???特别捕获了由波长偏移和仪器ils畸变引起的光谱变化。
- 从计算复杂性的角度来看，pcss方法对于操作处理非常高效。虽然使用逐行辐射传输模型初始化训练数据库的计算量很大，但这个步骤是离线进行的。pcss的操作应用完全依赖于预计算的主成分和矩阵运算。这将进入卫星光谱的标准化简化为简单的线性代数运算，允许快速处理大规模的多像素高光谱数据集，而无需实时进行辐射传输计算。

**3. 使用模拟cpf光谱的结果**
- 在设计cpf-ceres光谱扩展算法进行校准处理时，我们模拟了78,196个高分辨率的反射太阳辐射光谱，这些光谱也可以用于pcss。模拟使用了modtran（1 cm?1）[15]和逐行分辨率的辐射传输模型vlidort [16]。大气温度、湿度、臭氧、甲烷和co2等剖面数据来自modtran内置的剖面以及现代时期回顾分析研究应用第二版（merra-2）[17]。模拟中包含了各种冰云[18,19,20]、水云[21,22]和气溶胶[15,22]。有关陆地和海洋表面反射率的详细信息，请参阅参考文献[21,23]。太阳天顶角（sza）的范围从0°到89°，视天顶角（vza）从0°到75°，相对方位角（azm）从0°到180°。关于模拟和生成的数据集的更多细节可以在[3]中找到。
- 高分辨率光谱与标准cpf的ils在从350 nm到2300 nm的固定波长网格上进行了卷积，间距为3.05 nm。获得的光谱分为两部分，??0和??0??????，两者都代表标准cpf光谱。包含47,550个样本的??0用于训练，而包含30,646个样本的??0??????用于验证。
- 对于测量光谱，每个通道的中心波长和ils会在空间像素上发生变化。在这项研究中，使用了一个假定的波长映射来模拟实际的cpf仪器。相同的高分辨率光谱与这些新的中心波长和ils进行了卷积，以获得波长偏移的非标准cpf辐射光谱????1??和????1????????。然后使用??0和（????1?????0）光谱分别得到??0和???。????1????????光谱以及??0和???一起用于获得这些验证样本的相应pc得分，如方程（4）所示。使用方程（6）和（7）去除测量辐射中的波长偏移引起的变化，以获得标准化的cpf光谱?????????????，??????。最后，将标准化光谱与其相应的参考值??0??????进行比较。

**图2**展示了从30,646个验证光谱中随机选取的两个案例。蓝色符号代表参考标准cpf光谱。红色符号表示受波长偏移影响的非标准cpf光谱。黄色符号表示使用简单插值方法得到的标准化结果，而紫色符号表示使用pcss方法得到的结果。显然，pcss方法提供的标准化结果比插值方法更准确。顶部面板显示了整个光谱范围内的光谱，中间面板放大了760 nm附近的区域，底部面板显示了标准化光谱与在标准化波长网格上计算的参考光谱之间的差异。 - 非标准光谱根据图1b所示的流程图标准化到标准波长网格。如果训练数据库包含非标准cpf光谱的光谱特征，可以通过~??=???1????1??（4）获得光谱的PC得分，其中??=[??0,???]，???1是??的伪逆。需要注意的是，??矩阵不是单元矩阵，因为???a?n?d???彼此不正交。使用方程（4）获得的PC得分可以分为两部分，即~S=[~???,~???（5）。得到的~???和~???与方程（1）和（3）中的不同。因此，波长偏移引起的辐射变化表示为~???=???????（6）。在固定波长网格上标准化的光谱表示为???????????=????1???~???（7）。在下游分析（如CPF-CERES和CPF-VIIRS校准数据处理）中使用的就是这些标准化后的CPF光谱。 - 从辐射矩阵??0中得到的主成分???代表了不同场景中的独立光谱变化模式。这些成分涵盖了广泛的物理和仪器因素，包括大气剖面变化、表面反射率、照明和观测几何、痕量气体吸收、瑞利散射、云层、气溶胶以及仪器线形函数的变化。通过保留最重要的pc，pcss方法有效地隔离并模拟了大气顶层（toa）辐射的真实物理方差，同时过滤掉了高频传感器噪声和在丢弃的尾部成分中捕获的数值伪影。此外，从辐射差分矩阵???中得到的主成分???特别捕获了由波长偏移和仪器ils畸变引起的光谱变化。 - 从计算复杂性的角度来看，pcss方法对于操作处理非常高效。虽然使用逐行辐射传输模型初始化训练数据库的计算量很大，但这个步骤是离线进行的。pcss的操作应用完全依赖于预计算的主成分和矩阵运算。这将进入卫星光谱的标准化简化为简单的线性代数运算，允许快速处理大规模的多像素高光谱数据集，而无需实时进行辐射传输计算。 **3. 使用模拟cpf光谱的结果** - 在设计cpf-ceres光谱扩展算法进行校准处理时，我们模拟了78,196个高分辨率的反射太阳辐射光谱，这些光谱也可以用于pcss。模拟使用了modtran（1 cm?1）[15]和逐行分辨率的辐射传输模型vlidort [16]。大气温度、湿度、臭氧、甲烷和co2等剖面数据来自modtran内置的剖面以及现代时期回顾分析研究应用第二版（merra-2）[17]。模拟中包含了各种冰云[18,19,20]、水云[21,22]和气溶胶[15,22]。有关陆地和海洋表面反射率的详细信息，请参阅参考文献[21,23]。太阳天顶角（sza）的范围从0°到89°，视天顶角（vza）从0°到75°，相对方位角（azm）从0°到180°。关于模拟和生成的数据集的更多细节可以在[3]中找到。 - 高分辨率光谱与标准cpf的ils在从350 nm到2300 nm的固定波长网格上进行了卷积，间距为3.05 nm。获得的光谱分为两部分，??0和??0??????，两者都代表标准cpf光谱。包含47,550个样本的??0用于训练，而包含30,646个样本的??0??????用于验证。 - 对于测量光谱，每个通道的中心波长和ils会在空间像素上发生变化。在这项研究中，使用了一个假定的波长映射来模拟实际的cpf仪器。相同的高分辨率光谱与这些新的中心波长和ils进行了卷积，以获得波长偏移的非标准cpf辐射光谱????1??和????1????????。然后使用??0和（????1?????0）光谱分别得到??0和???。????1????????光谱以及??0和???一起用于获得这些验证样本的相应pc得分，如方程（4）所示。使用方程（6）和（7）去除测量辐射中的波长偏移引起的变化，以获得标准化的cpf光谱?????????????，??????。最后，将标准化光谱与其相应的参考值??0??????进行比较。 **图2**展示了从30,646个验证光谱中随机选取的两个案例。蓝色符号代表参考标准cpf光谱。红色符号表示受波长偏移影响的非标准cpf光谱。黄色符号表示使用简单插值方法得到的标准化结果，而紫色符号表示使用pcss方法得到的结果。显然，pcss方法提供的标准化结果比插值方法更准确。顶部面板显示了整个光谱范围内的光谱，中间面板放大了760> - 非标准光谱根据图1b所示的流程图标准化到标准波长网格。如果训练数据库包含非标准cpf光谱的光谱特征，可以通过~??=???1????1??（4）获得光谱的pc得分，其中??=[??0,???]，???1是??的伪逆。需要注意的是，??矩阵不是单元矩阵，因为???a?n?d???彼此不正交。使用方程（4）获得的pc得分可以分为两部分，即~s=[~???,~???（5）。得到的~???和~???与方程（1）和（3）中的不同。因此，波长偏移引起的辐射变化表示为~???=???????（6）。在固定波长网格上标准化的光谱表示为???????????=????1???~???（7）。在下游分析（如cpf-ceres和cpf-viirs校准数据处理）中使用的就是这些标准化后的cpf光谱。
- 从辐射矩阵??0中得到的主成分???代表了不同场景中的独立光谱变化模式。这些成分涵盖了广泛的物理和仪器因素，包括大气剖面变化、表面反射率、照明和观测几何、痕量气体吸收、瑞利散射、云层、气溶胶以及仪器线形函数的变化。通过保留最重要的pc，pcss方法有效地隔离并模拟了大气顶层（toa）辐射的真实物理方差，同时过滤掉了高频传感器噪声和在丢弃的尾部成分中捕获的数值伪影。此外，从辐射差分矩阵???中得到的主成分???特别捕获了由波长偏移和仪器ils畸变引起的光谱变化。
- 从计算复杂性的角度来看，pcss方法对于操作处理非常高效。虽然使用逐行辐射传输模型初始化训练数据库的计算量很大，但这个步骤是离线进行的。pcss的操作应用完全依赖于预计算的主成分和矩阵运算。这将进入卫星光谱的标准化简化为简单的线性代数运算，允许快速处理大规模的多像素高光谱数据集，而无需实时进行辐射传输计算。

**3. 使用模拟cpf光谱的结果**
- 在设计cpf-ceres光谱扩展算法进行校准处理时，我们模拟了78,196个高分辨率的反射太阳辐射光谱，这些光谱也可以用于pcss。模拟使用了modtran（1 cm?1）[15]和逐行分辨率的辐射传输模型vlidort [16]。大气温度、湿度、臭氧、甲烷和co2等剖面数据来自modtran内置的剖面以及现代时期回顾分析研究应用第二版（merra-2）[17]。模拟中包含了各种冰云[18,19,20]、水云[21,22]和气溶胶[15,22]。有关陆地和海洋表面反射率的详细信息，请参阅参考文献[21,23]。太阳天顶角（sza）的范围从0°到89°，视天顶角（vza）从0°到75°，相对方位角（azm）从0°到180°。关于模拟和生成的数据集的更多细节可以在[3]中找到。
- 高分辨率光谱与标准cpf的ils在从350 nm到2300 nm的固定波长网格上进行了卷积，间距为3.05 nm。获得的光谱分为两部分，??0和??0??????，两者都代表标准cpf光谱。包含47,550个样本的??0用于训练，而包含30,646个样本的??0??????用于验证。
- 对于测量光谱，每个通道的中心波长和ils会在空间像素上发生变化。在这项研究中，使用了一个假定的波长映射来模拟实际的cpf仪器。相同的高分辨率光谱与这些新的中心波长和ils进行了卷积，以获得波长偏移的非标准cpf辐射光谱????1??和????1????????。然后使用??0和（????1?????0）光谱分别得到??0和???。????1????????光谱以及??0和???一起用于获得这些验证样本的相应pc得分，如方程（4）所示。使用方程（6）和（7）去除测量辐射中的波长偏移引起的变化，以获得标准化的cpf光谱?????????????，??????。最后，将标准化光谱与其相应的参考值??0??????进行比较。

**图2**展示了从30,646个验证光谱中随机选取的两个案例。蓝色符号代表参考标准cpf光谱。红色符号表示受波长偏移影响的非标准cpf光谱。黄色符号表示使用简单插值方法得到的标准化结果，而紫色符号表示使用pcss方法得到的结果。显然，pcss方法提供的标准化结果比插值方法更准确。顶部面板显示了整个光谱范围内的光谱，中间面板放大了760 nm附近的区域，底部面板显示了标准化光谱与在标准化波长网格上计算的参考光谱之间的差异。>顶部面板展示了辐射光谱：蓝色符号代表真实值，红色符号代表波长偏移后的辐射光谱，黄色符号代表使用插值方法标准化的光谱，紫色符号代表使用PCSS方法标准化的光谱。中间面板展示了大约760纳米处的详细信息。底部面板显示了标准化辐射与真实值之间的绝对误差。对每个CPF通道的30,646个验证样本的标准化误差进行了计算。图3展示了两个代表性通道的百分比误差的概率分布函数（PDF）。顶部面板显示了线性插值方法的结果，而底部面板显示了PCSS方法的结果。PCSS方法引入的偏差对于随机选择的825.8纳米和1786.55纳米通道都小于0.01%。相比之下，线性插值方法导致的偏差约为1%。PCSS方法产生的误差分布接近正态分布，因此可以有意义地计算出这两个选定通道的标准差分别为0.2%和1.1%，如图3所示。然而，插值方法的误差分布显著偏离正态分布，使得标准差无法充分描述这些情况下的误差。图3. 825.8纳米通道和1786.55纳米通道的标准化验证数据中百分比误差的概率分布函数。顶部面板显示了线性插值的结果，而底部面板显示了PCSS方法的结果。图4显示了每个通道的标准化CPF辐射光谱的偏差。总体而言，对于大多数通道来说，PCSS方法引入的偏差小于线性插值方法引入的偏差，特别是对于具有丰富光谱特征的通道——例如接近氧A带的761.75纳米通道。对于这个通道，线性插值方法导致的偏差为9.4%，而PCSS方法将其降至仅?0.04%。平均而言，线性插值方法在所有通道上的偏差约为0.9%，而PCSS方法约为0.1%。图4. 标准化验证光谱中偏差的比较。蓝色线条代表线性插值，红色线条代表PCSS方法。图5展示了每个CPF通道的标准化辐射的不确定性。不确定性是通过系统偏差和随机不确定性的平方和计算得出的[8]。不确定性主要由偏差而非随机误差（标准差）主导。对于大多数CPF通道，PCSS方法导致的不确定性显著低于线性插值方法。图5. 光谱标准化验证光谱中不确定性的比较。蓝色线条代表线性插值的不确定性，红色线条代表PCSS方法的不确定性。为了展示PCSS方法相对于其他光谱插值方法的优势，我们对几种广泛使用的方法进行了系统比较。基准方法包括分段多项式插值技术——具体来说是PCHIP（分段三次Hermite插值多项式）、样条、三次插值和Makima插值——以及傅里叶变换方法，后者代表了根本不同的光谱重建方法类别[24]。图6展示了每种方法对随机选择样本产生的绝对误差。结果清楚地表明，PCSS方法产生的误差明显小于所有其他方法，突显了其在这种应用中光谱标准化的优越准确性。图6. 相对于真实值的标准化辐射的绝对误差，这些误差是针对不同标准化方法评估得出的。图7和图8分别显示了所有方法的偏差和均方根误差（RMSE）。所有多项式插值方法和傅里叶方法的结果相当：它们在光谱的短波端都表现出较大的偏差和RMSE。图7. 七种方法的标准化验证光谱中偏差的比较。图8. 七种方法产生的标准化验证光谱中RMSE的比较。PCSS方法的平均偏差仅为0.001 mW/m2/sr/nm，比所有其他方法小一个数量级。PCSS方法的偏差标准差为0.0015 mW/m2/sr/nm，而其他方法的偏差范围为0.2440–0.6313 mW/m2/sr/nm——减少了大约两个数量级。RMSE也观察到了类似的结果。PCSS方法在所有通道上的平均RMSE比所有其他方法小一个数量级，RMSE的标准差也是如此。图4. 使用模拟光谱和测量的HySICS气球数据进行的验证为了评估PCSS方法在不同场景类别中的性能，我们选择了八组使用VLIDORT辐射传输模型[16]逐线模拟的顶层大气（TOA）辐射光谱。晴朗天空组的模拟使用了99个随机选择的MERRA-2大气剖面，而多云天空组使用了额外的78个随机选择的剖面。模拟是在一系列几何条件下进行的，如表1所总结的。表1. 用于模拟8种不同场景辐射的参数。四组地表反射光谱被用作下边界条件。第一组来自ECOSTRESS光谱库（ECOSPECLib）版本1.0[25]，从中为晴朗天空情况随机选择了1782个独立的地表光谱，为多云天空情况选择了1404个。第二组来自EMIT Level-2地表反射率产品[26]；使用我们的高光谱BRDF模型[23]填补了EMIT L2反演中由于噪声辐射造成的光谱间隙。第三组和第四组各自包含一个代表性地表光谱。具体来说，磁铁矿水镁矿（来自土壤和混合物类别）和开阔海域海水的反射光谱都来自USGS光谱库版本7[27]。如图9所示，磁铁矿水镁矿在可见光和近红外光谱区域的反射率非常高，而开阔海域海水则反射率非常低，因此它们分别代表了明亮和黑暗的地表端元。图9. 磁铁矿水镁矿混合物和开阔海域海水的反射光谱。图10显示了所有八种场景组的平均TOA辐射光谱。正如预期的那样，含有磁铁矿水镁矿表面的晴朗天空情况产生最大的辐射，而含有开阔海域海水的晴朗天空情况产生最小的辐射，这与这两种端元之间的地表反射率差异很大一致。使用ECOSPECLib地表光谱的晴朗天空情况的平均辐射系统性地高于使用EMIT地表反射率的情况，表明ECOSPECLib集合平均包含了更高比例的高反射率表面。图10. 八种场景的平均TOA辐射光谱。对于多云天空情况，所有四组地表的平均辐射相当，表明TOA信号的主要贡献来自云层和大气散射而不是地表。图10. 八种场景的平均TOA辐射光谱。为了展示PCSS方法相对于其他光谱插值方法的优势，我们对几种广泛使用的方法进行了系统比较。基准方法包括分段多项式插值技术——具体来说是PCHIP（分段三次Hermite插值多项式）、样条、三次插值和Makima插值——以及傅里叶变换方法，后者代表了根本不同的光谱重建方法类别[24]。图6展示了每种方法对随机选择样本产生的绝对误差。结果清楚地表明，PCSS方法产生的误差明显小于所有其他方法，突显了其在此应用中光谱标准化的优越准确性。图6. 对于随机选择的光谱，不同标准化方法评估的标准化辐射的绝对误差相对于真实值。图7和图8分别显示了所有方法的偏差和均方根误差（RMSE）。所有多项式插值方法和傅里叶方法的结果相当：它们在光谱的短波长端都表现出较大的偏差和RMSE。图7. 七种方法在不同场景中标准化验证光谱的偏差比较。图8. 七种方法产生的标准化验证光谱中RMSE的比较。PCSS方法的平均偏差平均值仅为0.001 mW/m2/sr/nm，比所有其他方法小一个数量级。PCSS方法的偏差标准差为0.0015 mW/m2/sr/nm，而其他方法的偏差范围为0.2440–0.6313 mW/m2/sr/nm——减少了大约两个数量级。RMSE也观察到了类似的结果。PCSS方法在所有通道上的平均RMSE比所有其他方法小一个数量级，RMSE的标准差也是如此。图4. 使用模拟光谱和测量HySICS气球数据进行的验证为了评估PCSS方法在不同场景类别中的性能，我们选择了八组使用VLIDORT辐射传输模型[16]逐行模拟的顶层大气（TOA）辐射光谱。晴朗天空组使用99个随机选择的MERRA-2大气剖面进行模拟，而多云天空组使用了额外的78个随机选择的剖面。模拟是在一系列几何条件下进行的，如表1所总结的。表1. 用于模拟8种不同场景辐射的参数。四组地表反射光谱被用作下边界条件。第一组来自ECOSTRESS光谱库（ECOSPECLib）版本1.0[25]，从中为晴朗天空情况随机选择了1782个独立的地表光谱，为多云天空情况选择了1404个。第二组来自EMIT Level-2地表反射率产品[26]；使用我们的高光谱BRDF模型[23]填补了EMIT L2反演中由噪声辐射引起的光谱间隙。第三组和第四组各包含一个代表性的地表光谱。具体来说，磁铁矿水镁矿（来自土壤和混合物类别）和开阔海域海水的反射光谱都来自USGS光谱库版本7[27]。如图9所示，磁铁矿水镁矿在可见光和近红外光谱区域的反射率非常高，而开阔海域海水的反射率非常低，使它们分别代表了明亮和黑暗的地表端元。图9. 磁铁矿水镁矿混合物和开阔海域海水的反射光谱。图10显示了所有八种场景组的平均TOA辐射光谱。正如预期的那样，含有磁铁矿水镁矿表面的晴朗天空情况产生的辐射最大，而含有开阔海域海水的晴朗天空情况产生的辐射最小，这与这两种端元之间的地表反射率差异很大一致。使用ECOSPECLib地表光谱的晴朗天空情况的平均辐射系统性地高于使用EMIT地表反射率的情况，表明ECOSPECLib集合平均包含了更高比例的高反射率表面。图10. 八种场景的平均TOA辐射光谱。对于多云天空情况，所有四组地表的平均辐射相当，表明TOA信号的主要贡献来自云层和大气散射而不是地表。这与云层有效地将TOA辐射与地表反射率的变化解耦相符。PCSS尝试使用第2节中描述的主成分表示法从波长偏移后的测量值???(?????1,????????1)恢复真实的辐射???(?????0,????????0)。因此，偏差反映了这种校正的准确性：负偏差表示PCSS过度校正了测量辐射，而正偏差表示校正不足。八种场景组的总体偏差和RMSE计算如下： ???????????????????????????????=??1???????×??????∑?????????=1∑???????=1????????????????,?? (8) ???????????????????????????????=√1???????×??????∑???????=1∑???????=1??????????????2??,?? (9) 其中????????????????,??是第i个通道和第j个样本的PCSS标准化辐射与真实辐射之间的差异，nch是光谱通道的总数，ns是模拟光谱的总数。表2总结了在99个晴朗天空和78个多云天空MERRA-2大气剖面上评估的绝对辐射偏差和标准差（STD）。表2. 八种场景组中误差的比较。总体而言，该算法表现出卓越的辐射保真度，所有测试场景的绝对平均偏差均低于5.0 ×10?3 mW/m2/sr/nm。在晴朗天空条件下，误差指标强烈依赖于底层地表分类。开阔海域场景产生的总体误差最低（Bias = 4.0 × 10?4 mW/m2/sr/nm，STD = 0.027 mW/m2/sr/nm），而光谱复杂的地表引入了更大的方差。具体来说，磁铁矿水镁矿表面产生的标准差为0.34 mW/m2/sr/nm，比海洋基准高一个数量级。相反，在多云天空条件下，误差曲线变得非常均匀，且不依赖于地表类型。在所有四种多云场景中，标准差收敛到0.089 mW/m2/sr/nm至0.098 mW/m2/sr/nm的狭窄范围内，而偏差稳定在?7.0 ×10?4 mW/m2/sr/nm附近。晴朗天空和多云天空之间算法性能的差异突显了场景固有物理复杂性与有限训练数据集的代表性之间的相互作用。在像PCSS这样的数据驱动方法中，重建误差取决于训练样本捕获目标光谱变异的程度的彻底性；理论上，如果训练集中包含了不成比例的大量复杂地表样本，算法可能对这些场景的误差比简单场景的误差更低。然而，对于平衡或有限的训练集合，物理辐射传输行为决定了算法必须学习的“光谱维度”。在晴朗天空场景中，开阔海域作为一个黑暗、光谱平坦的背景。这种简单、低方差的信号很容易且完全地被PCA基础捕获，从而实现了最高的精度（最低的STD）。相比之下，高反射率的地表（例如，磁铁矿水镁矿、EMIT库）引入了明显的光谱特征和地表-大气散射复杂性。因为捕获这种更高的固有方差需要显著更多和更多样化的训练样本来完全表示，有限的PCA基础自然会产生略高的残差误差。相反，云层的引入从根本上改变了光学路径。光学厚云层主导了上行辐射信号并掩盖了下边界，有效地降低了场景的光谱维度。这种与多样化地表属性的物理解耦解释了为什么多云剖面的误差指标完全均匀化——算法正在重建一个更简单的、主要由云层主导的信号。最终，因为标准差始终至少比平均偏差高一个数量级（STD ?B?IAS），我们可以得出残差误差主要由随机方差而非系统算法偏差主导的结论。为了研究每个单独通道的误差，我们按如下方式计算了特定于通道的偏差和RMSE： ??????????????????????????????=??1??????∑???????=1??????????????????,?? (10) ??????????????????????????????=√1??????∑???????=1??????????????2????,?? (11) 图11显示了八种情况下的通道偏差。所有通道的平均偏差均小于0.005 mW/m2/sr/nm。极小的偏差表明PCSS方法无论场景类型如何都表现出稳定的系统行为。图11. 八种场景组中PCSS标准化光谱的偏差。对于四种多云天空情况，偏差的标准差约为0.006 mW/m2/sr/nm，表明在多云条件下地表贡献可以忽略不计。相比之下，晴朗天空情况下的标准差在0.0095到0.25 mW/m2/sr/nm之间变化。由于其相对较低的总体辐射，暗目标产生的误差最小。图12显示了RMS误差。对于多云天空情况，平均RMS误差范围为0.056至0.065 mW/m2/sr/nm，标准差在0.069到0.074 mW/m2/sr/nm之间。这再次表明云层主导了TOA辐射，有效地抑制了地表贡献。相比之下，晴朗天空情况的平均RMS误差范围更广，从0.013到0.21 mW/m2/sr/nm不等，标准差在0.024到0.26 mW/m2/sr/nm之间变化。总体而言，PCSS算法在高度均匀的多云情况下的表现更为一致，相比于更多样化的晴朗天空情况。图12. 八种场景组中PCSS标准化光谱的RMSE。TOA辐射的光谱方差受大气剖面、地表反射率和观测几何形状（例如，瑞利散射的强角度依赖性）变化的影响。在多云条件下，光学厚度较大的云层会遮蔽地表和低层大气。由于地表辐射的贡献被遮挡，且由大气剖面驱动的方差显著减小，因此到达地表的辐射（TOA）信号在光谱上变得较为简单。这使得使用主成分谱标准化（PCSS）方法对辐射进行标准化变得更容易，从而获得高度统一的均方根误差（RMS errors）。在晴朗天空的 open ocean（开阔海洋）情况下，地表辐射的贡献可以忽略不计；因此，光谱方差主要由99个大气剖面和多样的地表几何形态决定。对于其他三种晴朗天空的情况，由大气剖面和几何形态决定的光谱特征与复杂的宽带地表反射率相互作用，导致TOA辐射的总体幅度显著增加。由于捕捉这种增加的物理复杂性和信号幅度需要更全面的训练数据集，因此对于这些高反射率、光谱多样化的场景，有限的PCA（主成分分析）基向量自然会产生相对较大的绝对RMS误差。

为了研究PCSS误差的几何依赖性，我们使用朗伯（Lambertian）地表模型逐行计算了到达地表的辐射：
$$
I^2(S_{YZA}, W_{YZA}, A_{YZA} = I_0(S_{YZA}, W_{YZA}, A_{YZA}) + \varepsilon_c \cdot o_s(S_{YZA} \cdot \tau_{YZA} \cdot \tau_{WA} \cdot \tan\theta_1 - \sin\theta_1
$$
其中 $I_0$ 是大气路径辐射，$\varepsilon_c$ 是太阳辐照度，$\tau_{YZA}$ 是向下传输率（downwelling transmittance），$\tau_{WA}$ 是向上传输率（upwelling transmittance），$S$ 是大气球形反照率（atmospheric spherical albedo），$\theta_1$ 是入射天顶角（zenith angle）。大气路径辐射是由大气分子散射到视线方向的光，由于多次散射过程，其几何依赖性非常复杂。

地表项与方位角（AZM）无关，因此只有大气部分会通过相位函数（phase function）受到AZM的影响。观测天顶角（VZA）通过向上传输率 $\tau_{WA}$ 影响地表项，随着VZA的增加，地表对总TOA辐射的贡献会减少。太阳天顶角（SZA）不仅通过向下传输率项影响地表贡献，还通过几何照明因子 $\cos(SZA)$ 产生影响。由于这两个因素都会随着SZA的增加而减小，因此较大的SZA会比相应的VZA增加更快地减少地表贡献。

最终，尽管TOA辐射的光谱形状受到这三个角度的影响，但SZA的影响最强，因为它显著改变了大气和地表辐射之间的比例。在高SZA值时，这种效应可以使光谱从以地表为主转变为以大气为主。

对PCSS误差的分析表明，该算法对方位角的变化具有高度鲁棒性，在所有场景中，误差的绝对值斜率始终保持在1.3 ×10^?7 W/m2/sr/nm/degree以下，如图13所示。图13显示了八个场景组中PCSS标准化光谱RMSE的AZM依赖性。图14显示，尽管PCSS标准化器对VZA的依赖性稍强于AZM，但绝对误差仍然非常低（绝对斜率 < 6.5 ×10^?7 W/m2/sr/nm/degree）。对VZA依赖性的分析揭示了绝对RMSE的明显、物理上一致的趋势，这些趋势是由光谱复杂性的几何变化与有限PCA训练基向量之间的相互作用驱动的。在晴朗天空条件下，高反射率的地表会导致绝对RMSE呈现负趋势（斜率约为?10^?7 W/m2/sr/nm/degree）。随着VZA的增加，延伸的光学路径长度会减弱向上传输的地表辐射，有效抑制了低层边界的高频光谱复杂性。由于这种绝对光谱维度的降低，有限的PCA基向量更适合重建更平滑的、以大气为主的TOA辐射，从而降低了绝对误差。即使在正下方，黑暗海洋的地表方差也可以忽略不计，其斜率平坦很多（?1.3 ×10^?8）。图14显示了八个场景组中PCSS标准化光谱RMSE的VZA依赖性。相反，在多云天空条件下，所有地表类型的VZA依赖性均为正值（约2.5 ×10^?7）。由于光学厚度较大的云层遮蔽了下层边界，VZA的依赖性完全由云层上方的大气决定。在高反射率云层顶部，倾斜路径的增加会导致上层大气的吸收线非线性加深，从而引入更高频率的光谱方差。由于捕捉这些更深、更尖锐的吸收特征需要更全面的训练数据集，因此在较大观测角度下，固定的PCA基向量会导致绝对RMSE略有增加。

在评估SZA依赖性时，需要注意模拟的不同角度范围：晴朗天空场景的评估范围为SZA = 60°，而多云天空场景则扩展到极端掠射角（SZA = 89°）。尽管评估范围不同，但在两种情况下都显示出强烈的、物理上一致的负趋势，如图15所示。在高SZA值时，太阳辐照度的减少（$\cos(SZA)$ 和向上传播的大气路径长度的增加极大地减少了TOA辐射的总体能量和光谱动态范围。由于光谱的能量较低且较简单，PCA基向量在较大SZA下能够更准确地重建信号。图15显示了八个场景组中PCSS标准化光谱RMSE的SZA依赖性。在1–60°的范围内，明亮且光谱复杂的晴朗天空地表（ECSPECLib, EMIT, magnesite）表现出陡峭的负斜率（范围从?1.6 ×10^?6到?2.9 ×10^?6 W/m2/sr/nm/degree）。在低SZA下，这些高能量、光谱复杂的场景对有限基向量构成挑战，但随着场景变暗至60°，绝对方差下降，从而降低了误差。无论太阳光照如何，黑暗海洋的绝对方差都非常低，其斜率几乎平坦（2.5 ×10^?8 W/m2/sr/nm/degree）。在多云条件下，整个1–89°范围内，光学厚度较大的云层完全遮蔽了下层边界，导致所有地表类型的误差斜率趋于一致（范围从?7.3 ×10^?7到?9.7 ×10^?7 W/m2/sr/nm/degree）。这种一致的负趋势表明，即使在极端SZA下，算法的性能也受到高反射率云层顶部几何阴影的影响，这比例性地减少了PCA基向量必须拟合的绝对光谱方差。

基于主成分的光谱标准化（PCSS）算法对观测和照明几何形态的变化表现出显著的鲁棒性。在所有评估的场景中，RMSE的几何依赖性几乎可以忽略不计，最大误差增长率约为10^?6 W/m2/sr/nm/degree。这证实了PCA基向量全面捕捉了由几何变化引入的光谱方差，确保了在任何操作太阳传感器几何形态下的重建精度高度稳定。

使用测量的辐射光谱验证PCSS方法是不切实际的，因为每次测量都是唯一的。虽然测量光谱在仪器的原始波长网格上可用，但没有相应的参考光谱在相同的观测条件下以固定波长网格提供。因此，无法直接比较标准化光谱和参考光谱来进行验证。然而，如前所述，仍然可以从测量辐射光谱中得出辐射变化（$\Delta>R$）。如果已知辐射对波长的导数（$\frac{dR}{d\lambda}$），则可以通过以下公式估计波长偏移：
$$
\Delta\lambda = \frac{R_\Delta}{dR/d\lambda}
$$
波长偏移是一个可测量的参数，可用于验证PCSS方法。

我们将PCSS方法应用于HyperSpectral Imager for Climate Science（HySICS）高空气球携带版本的CPF空间飞行仪器的测量光谱，该仪器的波长网格和ILS（Intermediate Landing Site）与CPF空间飞行传感器非常相似。HySICS气球仪器的Desert_Vegetation_Clouds高光谱数据立方体覆盖了640个通道，波长范围从324.55 nm到2301.7 nm。图16显示了通道间隔。大多数通道间隔为3.1 nm或3.09 nm，少数为3.0 nm，还有一个通道间隔为3.13 nm。高分辨率训练数据库中的光谱与这些波长的HySICS气球ILS进行了卷积。然后将得到的光谱 $R_L1A, H_YS, S_I, C_S$ 与 $R_0$ 一起用于计算主成分（PCs）$U_\Delta, H_YS, S_I, C_S$。图16显示了两个相邻HySICS传感器通道之间的测量波长间隔略有差异。如图17所示，HySICS辐射光谱在短波长区域噪声很大。左图显示了辐射光谱，右图显示了每次测量的相对不确定性。有三个区域的不确定性小于1%：1026–1058 nm、1247–1271 nm和1556–1742 nm。我们利用这三个区域的测量HySICS光谱来验证PCSS方法。此外，为了在更具挑战性的条件下评估PCSS，我们选择了750 nm到900 nm的第四个区域，该区域包含了强烈的氧A带吸收特征。图17显示了随机选择的HySICS光谱（左）及其相应的相对不确定性（右）。通常，$\frac{dR}{d\lambda}$ 对于测量光谱并不直接已知，因为它取决于观测场景和大气剖面。在这项工作中，我们通过计算两个相邻通道之间的辐射差异与相应波长间隔的比值来近似$\frac{dR}{d\lambda}$。图18显示了在1025 nm到1060 nm波长范围内随机选择的八个HySICS光谱的结果。图18显示了1025 nm到1060 nm波长范围内八个随机选择样本的辐射对波长的导数。使用方程（4）计算了每个测量HySICS光谱的PC分数，并使用方程（6）确定了相应的$\Delta_R$。最后，使用方程（13）获得了每个通道的波长偏移，以验证PCSS方法。

有11个通道的波长范围从1026.9 nm到1057.9 nm，这些辐射被标准化到一个固定的波长网格，该网格的范围是1027.1 nm到1057.6 nm，这是标准网格的一部分。在这种情况下，波长偏移主要是由两个相邻通道之间的间隔差异引起的。对于测量光谱，这个波长范围内的间隔为3.1 nm。相比之下，固定波长网格的所有间隔都是3.05 nm。PCSS算法将测量光谱的波长网格标准化到固定标准网格，并计算每个通道的波长偏移。

图19显示了369,353个HySICS光谱中每个通道的波长偏移的概率分布函数（PDF）。由于1039.3 nm通道同时存在于标准波长网格和测量HySICS波长网格中，因此这个通道没有波长偏移。相比之下，其他10个通道显示出明显的波长偏移。随着距离1039.3 nm通道的距离增加，波长偏移的幅度和PDF的宽度都会增加。为了定量描述这些结果，表3列出了11个通道中每个样本的平均波长偏移及其标准差。结果表明，标准差随着波长偏移幅度的增加而增加。图19显示了11个选定HySICS通道的波长偏移的概率分布函数。表3显示了11个选定HySICS通道的测量中心波长、平均波长偏移和波长偏移的标准差。图20比较了PCSS算法估计的波长偏移与测量值。绿色符号代表测量的波长偏移，而红色符号代表使用PCSS方法获得的偏移。黑线代表通过PCSS结果的线性拟合。从PCSS获得的波长偏移与测量值非常吻合。图20显示了使用PCSS方法获得的波长偏移与测量值的比较。图21显示了另外两个波长区域的类似结果。从1246.6 nm到1271.4 nm的测量辐射光谱包括9个通道，这些通道被标准化到标准波长网格的一部分（1246.7 nm到1271.1 nm）。同样，从1556.0 nm到1741.7 nm的测量辐射包括61个通道，这些通道被标准化到1557.8 nm到1740.8 nm的网格。尽管某些通道的测量波长偏移与使用PCSS方法得到的偏移有显著差异，但黑色线性拟合仍然很好地代表了波长偏移的趋势。图21显示了使用PCSS方法得到的波长偏移与测量值的比较。氧A带情况的结果显示在图22中。同样，即使在某些通道存在异常值，黑色线性拟合也与测量值非常吻合。在从751.54纳米到896.96纳米的41个通道中，拟合得出的误差可以忽略不计，偏差和标准差都小于0.01纳米。图22展示了使用PCSS方法得出的波长位移与750-900纳米区域测量值之间的比较。5. 结论：开发了一种基于主成分的光谱标准化（PCSS）方法，用于将测量的高光谱数据标准化到一个固定的波长网格上。这种标准化支持后续的数据分析和处理。与线性插值相比，PCSS方法在具有丰富光谱特征的波长区域显示出更高的准确性。PCSS方法通过依赖主成分分析有效地减小了这些失真。此外，该方法在计算上也很高效，因为它不需要进行辐射传输计算。预先计算好的查找表（LUTs），即??0和???，可以用于未来的应用。使用类CPF的模拟高光谱辐射光谱对PCSS方法进行了验证。验证结果显示，光谱标准化过程中的不确定性通常低于1％，所有CPF通道的平均不确定性小于0.07％。相比之下，线性插值的平均不确定性为0.88％。这种较低的光谱标准化不确定性意味着较小的不确定性会传递到后续分析中。这些结果表明，PCSS方法是一种高效可靠的光谱数据标准化方法，特别是在对准确性和精确度要求很高的应用中。HSI仪器的光谱参数发生微小变化可能会导致检索到的表面反射率和其他衍生变量出现明显误差，尤其是在具有尖锐光谱特征的波长区域[29]。进一步使用HySICS气球传感器在各种环境条件下的实际测量数据进行了验证。在这种情况下，PCSS方法用于估计三个噪声相对较低的光谱区域的波长位移。尽管PCSS算法中使用了辐射对波长导数的近似值（??????????），但得出的波长位移与测量值非常接近。这证明了PCSS方法具有鲁棒性，即使某些参数（如??????????）被近似，也能表现出良好的性能。尽管PCSS方法是专门为标准化未来的CPF光谱而设计的，但其灵活性使其能够适应任何高光谱传感器的使用。只需将标准的CPF波长网格和ILS替换为相应于其他传感器的网格，该方法就可以应用于任何高光谱数据集。这种灵活性使PCSS方法成为从环境监测到气候研究等各种遥感应用中的多功能工具，并有助于实现不同仪器数据之间的互比。PCSS方法的成功对多传感器遥感程序中的传感器协调具有重要意义[30,31,32,33,34]。随着新的高光谱传感器的推出，它们通常在不同的波长网格和ILS上运行，这使得结合它们的数据变得困难。通过应用PCSS方法，可以将旧传感器和新传感器的数据标准化到一个共同的波长网格上，从而实现跨平台的一致性分析。这对于长期监测环境变化尤为重要，因为数据连续性对于检测随时间变化的趋势和异常现象至关重要。总之，PCSS方法提供了一种快速、准确且计算效率高的方法，用于将高光谱数据标准化到一个固定的波长网格上。该方法已通过模拟数据和实际数据得到了成功验证，并在诸如校准、传感器协调和气候研究等应用中显示出巨大潜力。PCSS方法代表了遥感领域的一个重要进展，为该领域长期存在的问题提供了实用的解决方案。