《Machine Learning with Applications》：Segment-conditioned Flexible-K Mixture of Experts for remaining useful life prediction
编辑推荐：
基于Transformer的剩余使用寿命（RUL）模型对所有时间步表示施加相同的前馈变换，尽管不同发动机、运行工况和退化阶段之间存在差异。研究人员提出柔性-K专家混合模型（Flexible-K Mixture of Experts, FK-MoE），以分段门控
基于Transformer的剩余使用寿命（RUL）模型对所有时间步表示施加相同的前馈变换，尽管不同发动机、运行工况和退化阶段之间存在差异。研究人员提出柔性-K专家混合模型（Flexible-K Mixture of Experts, FK-MoE），以分段门控与单阶段调度（Segment Gating with One-Stage Dispatch, SG-OSD）替换该子层。SG-OSD从连续时间步组构造专家特定的槽查询（slot queries），采用未归一化ReLU亲和度执行全局token-to-slot路由，并复用所得贡献用于调度和输出组合。这使每个token能够接收可变数量专家的贡献，而无需固定top-k路由。在四个C-MAPSS和七个N-CMAPSS子集上，路由分析证实了输入相关的专家参与。在配对C-MAPSS实验中，相对于非分段条件化的Soft MoE，分段条件化使FD001上的平均RMSE降低1.71、FD004上降低1.68，而完整模型在全部四个子集上均较匹配的token级ReLU路由对照器取得更低RMSE。这些结果表明，分段条件化的柔性-K路由能够改善RUL预测，尽管当前实现仅调整哪些专家对每个token产生贡献，而仍评估所有专家网络。
研究背景与问题：故障预测与健康管理（Prognostics and Health Management, PHM）中的剩余使用寿命（Remaining Useful Life, RUL）预测对涡扇发动机等机械系统的主动维护、备件管理和运行安全具有重要意义。传统物理模型依赖领域知识且可能在真实系统偏离假设时性能下降，数据驱动与深度学习方法可从多变量传感器信号中学习非线性高维模式；其中Transformer因自注意力可捕捉长程时间依赖而受到关注。然而，标准Transformer的前馈子层对所有时间步表示施加同一变换，即使轨迹在不同发动机、运行工况和退化阶段间存在差异。专家混合（Mixture of Experts, MoE）通过多个专家网络和路由器组合输出，但常规top-k路由对每个token固定激活专家数；Soft MoE采用可微token-to-slot与slot-to-token分配；已有工作亦提出ReLU路由、学习阈值、null experts和专家侧token选择等可变专家参与方式。FK-MoE的焦点在于：从连续时间组构造专家特定槽查询，执行全局token-to-slot路由，并将单一未归一化调度权重张量同时用于调度与组合。研究人员围绕四个研究问题开展评估：分段条件化是否相对非分段条件化Soft MoE降低均方根误差（Root Mean Square Error, RMSE）以及完整FK-MoE与匹配token级ReLU路由对照器的比较；分段槽构造、投影分离、softmax-to-ReLU改变及调度与组合绑定对预测精度和正路由支持专家数分布的影响；蒙特卡洛dropout（Monte Carlo dropout, MC dropout）实验对聚合RMSE、Score变异和校准误差的指示；以及参数数、解析操作、内存、训练时间、推理延迟和零路由贡献是否减少专家执行等计算权衡。研究在四个C-MAPSS和七个N-CMAPSS子集上采用配对种子路由消融、专家支持分析、传感器分布检验、计算剖析和归档不确定性结果开展分析。结论显示，分段条件化槽构造可降低FD001和FD004平均RMSE，完整FK-MoE在四个C-MAPSS子集上均较匹配token级ReLU路由器取得更低RMSE；路由分析证实输入相关专家参与；当前实现仍稠密评估所有专家网络，且模拟涡扇基准不能证明实际部署性能。其意义在于为RUL预测提供一种分段条件化、柔性K的自适应路由框架，同时明确区分自适应路由贡献与条件专家执行。
关键技术方法（≤250字）：研究人员以Transformer为骨干，将前馈子层替换为FK-MoE；SG-OSD对归一化时间步表示按连续组求均值并投影为各专家槽查询，以未归一化ReLU亲和度执行全局token-to-slot路由，并复用同一非负调度权重张量完成调度与输出组合；动态槽分配将序列填充至专家数整数倍并去除填充输出。研究在C-MAPSS和N-CMAPSS上评估，使用DAT发布的准备文件、加载器和固定发动机划分（Li et al., 2022）；窗口长度70，RUL上限分别为130和65周期；以SGD和MSE训练，采用RMSE与Score，并进行配对种子消融、传感器分布检验、MC dropout及计算剖析。
研究结果：
4.3 C-MAPSS实验：在种子1–10下，FK-MoE在FD001–FD004的RMSE分别为6.60±0.40、11.72±0.30、7.87±0.36、12.51±0.33，Score分别为214±24、605±27、416±62、925±76；文献值因发动机划分、预处理、RUL目标、检查点选择和指标聚合不同，仅作语境参考。由此得出FK-MoE在统一流程下构成主基准结果，子集差异需谨慎解释。
4.4 N-CMAPSS实验：FK-MoE在DS01–DS07的RMSE分别为4.23±1.23、4.18±1.02、5.08±0.23、8.40±0.96、4.12±0.23、2.72±0.28、4.23±0.34，Score分别为73±28、72±26、110±8、200±38、80±6、44±6、84±9。较DAT在全部七个子集上RMSE和Score更低；在报告方法中，FK-MoE在七个子集中的六个取得最低数值RMSE，在全部七个子集取得最低数值Score；DS04上BGT的RMSE低于FK-MoE但Score高于FK-MoE，因协议未完全匹配，该比较仅具描述性。
4.5 传感器分布异质性与传感器变异性：使用训练发动机、每台发动机40个等间隔归一化寿命插值观测，对每个非恒定传感器比较1–4成分高斯混合模型（Gaussian Mixture Model, GMM）并以贝叶斯信息准则（Bayesian Information Criterion, BIC）评价；强混合证据在调整前见于10个传感器–子集组合、调整后见于12个组合，仅1个组合在两次分析中均满足强标准，说明传感器分布结构随传感器和子集呈上下文依赖，与输入相关路由动机一致，但不代表物理退化模式。窗口内变异性代理在DS05–DS07按四分位比较FK-MoE与Transformer的配对绝对误差差；合并窗内交互为0.361 RUL周期/窗内变异性代理标准差（95%置信区间?0.204至0.978，含零），最高变异性四分位中DS05均值差利于Transformer、DS06和DS07利于FK-MoE但三者置信区间均含零，未建立传感器变异性与FK-MoE优势的一致关系。
4.6 不确定性量化：MC dropout在推理时保持dropout并固定模型权重，汇总随机前向传播下聚合RMSE和Score分布并报告期望校准误差（Expected Calibration Error, ECE）；因未保留每个RUL目标在随机前向传播中的预测，无法重构预测区间或检验真实RUL覆盖频率。十个记录检查点中，FK-MoE在FD001、FD002、FD004的平均ECE低于Transformer，但两模型ECE约为0.40–0.48，残余校准误差仍大；ECE仅作描述性报告，不能解释为目标级预测区间覆盖证据。
4.7 消融研究：在种子1–10的受控消融中，分段条件化softmax槽构造较无分段条件化Soft MoE降低平均RMSE，FD001由9.526降至7.816（配对均值差?1.710，95%置信区间?2.621至?0.799），FD004由13.795降至12.113（?1.682，?2.148至?1.215），支持分段条件化槽查询构造的贡献。投影分离在FD001增加RMSE、FD004仅轻微变化；分离投影下以未归一化ReLU替换softmax在FD001降低RMSE、FD004具较小平均降低但不确定性较大；共享logit softmax在FD001和FD004的较低平均RMSE支持共享logit；绑定ReLU调度与组合映射的RMSE效应在FD001、FD003、FD004不确定，在FD002增加，呈数据集依赖。完整FK-MoE较匹配token级ReLU路由器在全部四个子集平均RMSE更低；与适配的ReMoE、DynMoE、AdaMoE和Expert-Choice路由器比较，16个方法–子集配对差均为正且双侧95%配对种子置信区间均高于零，但该比较为共同骨干下的受控适配，不应解释为对原发表方法的精确复现或直接排序。
4.8 Flexible-K路由行为：以专家聚合路由权重严格大于零计为贡献，22个数据集–层组合的平均token级贡献专家数为5.751–6.594（共8个），标准差1.055–1.298；220个数据集–种子–层组合中每个组合至少出现两种不同专家数K且每种至少覆盖5% token，无组合在95%以上token上分配全部8个专家，观察到的K=8最大token比例为59.77%；在10
?12、10
?8、10
?6相对阈值敏感性检查下模式稳定。无有效held-out token的K=0；窗口层面全部8个专家至少对一个token有贡献的比例在第一层窗口为88.76%–97.82%、第二层窗口为31.12%–56.06%。由此表明路由机制使专家支持随token和层变化，但大多数窗口仍受到每个专家的一定贡献，且专家网络仍全部评估。
4.9 模型规模与计算成本：参数数、解析操作、内存、训练时间和推理延迟分别报告；最终8专家配置由验证选择，专家数由2增至16时参数数和运行时间增加；4专家与8专家配置均将70 token填充至72位置，故解析操作数相同，但每专家槽数由18变为9。FK-MoE较稠密Transformer训练时间更长、参数更多，但内存占用低于Transformer；在正常路由、四个专家强制零贡献、全部调度权重强制为零三种剖析条件下，全部16个层–专家调用仍执行，每个专家接收相同稠密形状输入，算子级浮点操作数相同，说明零路由贡献在当前实现中不减少专家执行。
讨论部分与结论翻译：讨论指出，FK-MoE虽在基准中表现良好，但评估完全基于模拟数据集，不能捕获维修动作、间歇传感器故障或环境变异，结果未必直接迁移至真实机队；其他机械类型或装置可能具有不同退化动力学、传感器配置或故障模式，或需重新调参；FK-MoE训练时间高于稠密Transformer，所报告时间与结果对应使用准备输入、重叠窗口重构和固定指标聚合的离线基准实现。未来研究将验证真实运行数据和跨数据集迁移场景，扩展至不同退化模式或传感模态机械，发展将路由稀疏性转化为跳过专家计算的条件调度，保留逐目标随机输出以评估预测区间覆盖，并将FK-MoE预测与反映实际成本–风险权衡的维护策略集成。结论翻译：本文提出用于涡扇发动机RUL预测的FK-MoE模型，其SG-OSD模块从连续时间步表示组构造专家特定槽查询，通过非负调度权重对每个token进行全局路由，并复用同一调度权重张量进行调度和组合；该机制使具有正路由支持的专家数可随token、层、数据集和种子变化，而专家计算保持稠密。结果回答四个研究问题：受控C-MAPSS比较显示分段条件化槽构造降低FD001和FD004的RMSE，且FK-MoE在全部四个子集上较匹配token级ReLU路由对照器取得更低RMSE；路由分析确认输入相关专家支持，传感器分布分析识别C-MAPSS和N-CMAPSS的子集特异性异质性；MC dropout刻画聚合RMSE和Score在随机前向传播中的稳定性；计算分析量化当前稠密实现的成本。总体而言，结果支持FK-MoE作为有前景的RUL预测自适应路由框架；未来工作将把评估拓展至现场数据和多样机械，并以条件专家执行和目标级预测区间扩展该框架。
