《Sensors》：Bridging High-Resolution Environmental Sensor Observations and Process-State Prediction: A Distribution-Shift-Robust Time–Frequency Transformer (FT-Crossformer)
编辑推荐：
高分辨率在线传感器在环境过程系统中现已普遍，但将其非平稳、异构的观测流转化为对底层过程状态的可靠预测仍然困难。传感器流的统计分布随时间变化，测量变量与感兴趣的状态变量不一致，且重复运行机制过程模型进行前向预测计算成本高昂。研究人员提出FT-Crossforme
高分辨率在线传感器在环境过程系统中现已普遍，但将其非平稳、异构的观测流转化为对底层过程状态的可靠预测仍然困难。传感器流的统计分布随时间变化，测量变量与感兴趣的状态变量不一致，且重复运行机制过程模型进行前向预测计算成本高昂。研究人员提出FT-Crossformer，一种时频Transformer，作为多传感器观测与多元过程状态预测之间的数据驱动代理。为处理传感器流中的分布偏移，一个时域分布变换模块与一个逆映射模块共同执行仿射偏差校正，在输入处移除每窗口非平稳统计量并在输出处恢复，从而在不丢弃非平稳信息的情况下缩小训练与测试分布之间的差距。研究人员表明，这种仿射校正（包括其可学习的每变量缩放和平移）在频域中对每个非零频率分量作用为一个公共缩放因子，该因子不依赖于频率索引，因此无法改变各分量之间的相对幅度。因此，一个频率稳定性测量模块和一个频率加权模块重新加权观测信号的频谱分量，使得稳定的、任务相关的分量对重构信号贡献更大。Crossformer骨干的跨维度注意力机制作为多传感器融合机制，建模测量变量之间的依赖关系。研究人员在来自不同领域的公开基准数据集上验证该方法以检验通用性，并最相关地，在两个真实环境案例上进行了环境建模：一个废水氮磷去除过程，以及来自旧金山湾原位河口传感器系泊的叶绿素预测。在带有强烈训练到测试分布偏移的河口叶绿素数据上，完整的FT-Crossformer在次日现报预测视野中展现出评估模型中最优的精度，消融实验表明时域变换和频域加权均贡献于此精度。FT-Crossformer从分布偏移的传感器数据中产生前向预测，以单次固定成本的前向传播替代重复的机制求解，使其成为环境过程建模中传感器数据集成与同化的实用构建模块。
**论文解读文章**
**研究背景**
在高分辨率在线传感器广泛部署于环境过程系统的背景下，例如废水处理中的溶解氧、氨氮、硝酸盐、磷酸盐和混合液悬浮固体探头，以及水生生态监测中的原位叶绿素a光学传感器，大量观测数据得以生成。然而，将这些非平稳、异构的观测流转化为对底层过程状态的可靠预测面临三大障碍：第一，传感器流的统计分布随时间变化（分布偏移），导致模型泛化性能下降；第二，测量变量与感兴趣的状态变量不一致，需建立观测到状态的映射；第三，重复运行机制过程模型（如活性污泥模型）进行前向预测计算成本高昂。此外，叶绿素a时间序列呈现昼夜光周期和季节水文变化驱动的多周期振荡，进一步增加了预测难度。现有时间序列预测模型多假设训练与测试数据同分布，无法应对环境监测中时间分割导致的分布偏移；而时频分析方法主要聚焦于周期分解，缺乏跨场景泛化能力。因此，研究人员提出一种数据驱动的代理模型，旨在从分布偏移的多传感器观测中快速、准确地预测多元过程状态，以降低计算成本并提升鲁棒性。该研究发表于《Sensors》。
**关键技术与方法**
研究人员提出FT-Crossformer，一种基于Crossformer骨干的时频联合建模方法。关键技术包括：时域分布变换模块与逆映射模块，构成对称仿射对，通过移除输入每窗口的均值和标准差并恢复输出，缩小训练与测试分布差距而不丢失非平稳信息；频率稳定性测量模块，基于训练样本上各频率分量幅度的变异系数识别稳定分量；频率加权模块，通过可学习线性投影对频谱分量进行自适应重加权，增强稳定、任务相关分量并抑制不稳定分量；Crossformer骨干的维度分段嵌入与两阶段注意力机制，分别捕获跨时间依赖和跨维度依赖，实现多传感器融合。样本来源：废水案例数据来自2024年9月25日至2025年2月21日某采用厌氧-缺氧-好氧（AAO）工艺的污水处理厂，共12个过程变量，采样间隔10分钟，共18,986个样本；叶绿素案例数据来自旧金山湾北部Carquinez海峡的YSI系泊传感器（38.067°N, 122.23°W），2016年9月至2019年8月每小时记录，共25,560个样本，包含叶绿素、温度、盐度、浊度、溶解氧和pH值。
**研究结果**
**4.1 公共基准：通用性检验**
研究人员在五个广泛使用的公共数据集（电力变压器温度ETT、流感样病例ILI、交通、天气、汇率）上，将FT-Crossformer与iTransformer、DLinear、Crossformer、FEDformer、Autoformer和Informer六种典型模型进行比较。结果表明，FT-Crossformer在所有数据集和预测长度上（除交通的两个长时预测外）均取得了最优的平均绝对误差（MAE）和均方误差（MSE）。相对于原始Crossformer，FT-Crossformer在ETTh2上的平均MSE下降约26.0%，在交通上下降约20.7%，验证了其在分布偏移场景下的通用性。t-SNE嵌入可视化显示，时间分割导致训练与测试分布分离，而FT-Crossformer有效缓解了此问题。
**4.2 消融研究**
研究人员在ETTh2和ILI数据集上分别移除频率域加权（w/o FDW）、时域变换与逆映射（w/o DTIM）以及维度分段嵌入与两阶段注意力（w/o DSETA）。结果显示，移除任一组件均导致MSE和MAE升高，其中移除时域变换或维度分段嵌入的影响尤为显著，证明这三个组件均对精度有贡献。频率域加权在长时预测中贡献更大，说明其通过重加权稳定频谱分量提升了模型鲁棒性。
**4.3 河口传感器系泊的叶绿素预测**
在真实河口叶绿素数据上，训练集与测试集按时间分割，叶绿素边缘分布均值从1.99 μg/L升至2.58 μg/L，Kolmogorov-Smirnov统计量为0.287，表明存在显著分布偏移。在次日现报预测视野（τ=24小时）下，完整的FT-Crossformer取得0.1848的MSE，优于无频率域加权的变体（0.1873）、无时域变换的变体（0.1925）以及原始Crossformer（0.1912）。消融实验确认两个提议组件均贡献于精度。模型能有效模拟叶绿素浓度随潮汐的波动，并追踪24小时内的升降趋势，但部分短期峰值可能被平滑，这与突发水动力扰动有关。
**4.4 废水氮磷去除**
在废水AAO过程数据上，FT-Crossformer在所有预测长度上均取得最优结果：相对于原始Crossformer，平均MSE下降63.9%；相对于次优的iTransformer，下降10.1%。这证明了该方法在真实环境传感器数据上的准确性和泛化能力。
**4.5 与机制模型和数据同化的关系**
FT-Crossformer作为数据驱动代理，替代了重复求解刚性常微分方程组的机制模型（如活性污泥模型），以单次固定成本的前向传播完成预测，解决了计算成本障碍。同时，其输入为传感器观测变量，输出为过程状态（如出水氮、磷），结合时域变换模块实现了非平稳传感器流中的偏差校正，可作为学习观测算子嵌入数据同化循环。未来工作可将其与变分或集合方案耦合以提供不确定性量化。
**总结与讨论**
讨论部分指出，FT-Crossformer在公共基准和两个真实环境案例中均展现出优越性能，其时域变换和频域加权组件协同工作，增强了模型对分布偏移的鲁棒性。然而，模型在资源受限部署下的规模和计算成本仍需优化，且需进一步探索与变分或集合同化方案的耦合。研究结论（翻译自第5节）：研究人员提出了FT-Crossformer，一种基于Crossformer骨干的时频联合建模方法，针对非平稳环境传感器流中的分布偏移和变量耦合问题。时域变换通过仿射变换缓解分布偏移同时保留非平稳信息；频域加权通过稳定性量化和自适应加权放大任务相关频率分量，而变换本身无法分离这些分量。公共基准和消融实验为每个组件的通用性和贡献提供了证据，废水氮磷去除案例在真实环境传感器数据上展示了准确且鲁棒的预测。在真实河口叶绿素数据上，完整模型在次日现报预测视野中展现出优越精度，且两个提议组件均贡献于此精度。剩余局限性包括模型在资源受限部署下的规模和计算成本，以及代理与变分或集合同化方案的耦合。
