《Fire》：Research on Forest Fire Detection and Segmentation Based on MST++ Hyperspectral Reconstruction Technology
Shuai Tang,
Jie Xu and
Li Zhang
编辑推荐：
全球森林火灾发生频率日益增加，需要快速准确的检测方法。本研究提出一种基于MST++高光谱重建模型的森林火灾检测与分割框架，以提高复杂环境条件下野火监测的准确性和鲁棒性。所提出的方法首先使用NTIRE 2022 RGB到高光谱数据集（950对样本）上训练的MST
全球森林火灾发生频率日益增加，需要快速准确的检测方法。本研究提出一种基于MST++高光谱重建模型的森林火灾检测与分割框架，以提高复杂环境条件下野火监测的准确性和鲁棒性。所提出的方法首先使用NTIRE 2022 RGB到高光谱数据集（950对样本）上训练的MST++模型从RGB输入重建高光谱图像，然后基于光谱敏感波段进行火焰和烟雾分割。在分割实验中，使用了BoWFire数据集中的118张火焰图像和公共数据集（D-Fire和DFS）中的100张人工标注的烟雾图像。定量结果表明，所提出的基于MST++的方法显著优于传统的U-Net基线。在火焰分割中，MST++实现了76.90%的IoU（交并比），86.81%的F1分数和0.8603的Kappa系数，而U-Net分别为44.42%、58.15%和0.5625。在烟雾分割中，MST++实现了91.76%的IoU和95.66%的F1分数，分别超过U-Net 17.08%和10.32%。在火烟重叠场景中，MST++保持了很强的鲁棒性，烟雾检测的IoU达到89.64%。这些结果表明高光谱重建增强了火焰、烟雾和复杂背景之间的区分能力，特别是在低光照和重叠条件下。所提出的框架为早期森林火灾检测提供了可靠高效的解决方案，并展示了高光谱重建方法在灾害监测应用中的潜力。
**论文解读：基于MST++高光谱重建的森林火灾检测与分割框架**
**研究背景与问题**
森林火灾对生态系统、人类安全和气候稳定构成严重威胁，其频率和强度近年显著增加。传统监测方法（如人工巡检和常规遥感）效率低、精度不足，难以满足快速预警需求。高光谱成像可捕获连续光谱信息，提供火灾相关属性（如燃烧状态、排放特征）的精细表征，但物理高光谱设备成本高、数据采集困难。深度学习方法在特征提取方面表现优异，但直接基于RGB图像的分割模型在复杂环境（低光照、火烟重叠）下易受光谱混合影响，目标-背景区分度不足。因此，亟待一种低成本、高效的方法提升火灾监测的准确性和鲁棒性。
**研究内容与结论**
Shuai Tang等研究人员提出一种基于MST++（多尺度Transformer++）高光谱重建的森林火灾检测与分割框架。该框架首先将RGB图像通过MST++模型重建为高光谱表示，再依据经验性光谱分离性分析选择敏感波段，采用阈值分割实现火焰和烟雾检测。在火焰分割任务中，MST++的IoU（交并比）达76.90%，F1分数86.81%，Kappa系数0.8603，显著优于U-Net的44.42%、58.15%和0.5625。烟雾分割中，MST++的IoU和F1分数分别为91.76%和95.66%，超过U-Net达17.08%和10.32%。在火烟重叠场景下，MST++对烟雾的IoU仍保持89.64%，展现出强鲁棒性。消融实验证实，高光谱重建将火焰直接RGB分割的IoU从9.28%提升至69.58%，烟雾从56.11%提升至86.45%，表明性能提升主要源于光谱域特征分离性的增强，而非模型复杂度。该论文发表在《Fire》期刊。
**关键技术方法**
研究采用MST++网络作为高光谱重建核心，其编码器-瓶颈-解码器架构融合多尺度卷积与空间自注意力机制（SST），在NTIRE 2022挑战赛的950对RGB-高光谱样本（900训练，50验证）上训练。分割阶段基于重建光谱进行经验性波段选择，对BoWFire数据集118张火焰图像和D-Fire、DFS等公共数据集100张烟雾图像（人工标注）进行阈值分割。基线模型为U-Net，在相同数据上训练，并采用随机平移、翻转、裁剪等数据增强。硬件平台包括Intel E5-2640 CPU和NVIDIA RTX 6000 GPU。
**研究结果**
- **3.1 MST++高光谱重建性能评估**：在NTIRE 2022验证集上，MST++取得MRAE（平均相对绝对误差）0.1645、RMSE（均方根误差）0.0248、PSNR（峰值信噪比）34.32 dB、SAM（光谱角映射器）0.0852，证明重建光谱在可见光范围（400–700 nm）具有高保真度和光谱一致性。
- **3.2 高光谱重建的贡献（消融研究）**：与直接使用RGB通道（火焰用红通道、烟雾用灰度强度）进行阈值分割相比，重建光谱波段的IoU和F1分数大幅提升。火焰IoU从9.28%增至69.58%，F1从16.99%升至82.06%；烟雾IoU从56.11%增至86.45%，F1从71.89%升至92.73%，证实光谱扩展增强了目标-背景分离性。
- **3.3 火焰目标分割性能评估**：在夜间、大火、小火三种典型场景下，MST++对火焰的识别准确且边缘清晰，IoU 76.90%、F1 86.81%、Kappa 0.8603，优于U-Net的44.42%、58.15%、0.5625，尤其在低光条件下未出现目标合并。
- **3.4 烟雾检测能力评估**：在地面、无人机（UAV）和卫星多视角测试中，MST++的烟雾IoU 91.76%、F1 95.66%、Kappa 0.9192，而U-Net仅为74.68%、85.34%、0.7507，MST++在检测区域增大时仍保持稳定。
- **3.5 火烟重叠场景检测能力**：在火烟分离和重叠的四个场景中，MST++对火焰的IoU 55.55%（U-Net 48.25%），对烟雾的IoU 89.64%（U-Net 60.76%），尤其在烟雾严重遮挡情况下U-Net出现漏检，而MST++保持高精度。
**讨论与结论总结**
讨论部分指出，高光谱重建驱动的框架在复杂场景（夜间、小尺度、多视角、火烟重叠）中表现稳健，原因是光谱域特征增强降低了对光照和视觉干扰的敏感性。局限性包括低对比度下误分类仍存在、阈值选择依赖人工经验、未对多种分割骨干网络进行系统评估。计算性能适合周期性监测（如UAV巡逻、卫星重访），而非高帧率实时流处理。未来方向包括引入更有效的注意力机制降低复杂度，以及集成自适应阈值方法形成端到端流水线。
研究结论翻译：本研究基于MST++模型提出了一种高光谱重建驱动的火焰和烟雾分割框架。通过将RGB图像转换为重建的高光谱表示，该方法增强了火灾目标与背景区域之间的光谱分离性，从而在复杂环境条件下提升了分割性能。定量实验验证了其有效性：MST++模型实现了可靠的高光谱重建，MRAE为0.1645，RMSE为0.0248，PSNR为34.32 dB，SAM为0.0852，表明重建数据与真实高光谱数据具有强光谱一致性。在分割任务中，该框架显著优于RGB基线的U-Net，火焰分割IoU达到76.90%、F1分数86.81%，烟雾分割IoU达到91.76%、F1分数95.66%。消融实验进一步确认了高光谱重建的必要性：直接基于RGB输入的分割IoU分别仅为9.28%（火焰）和56.11%（烟雾），而重建光谱波段将IoU提升至69.58%和86.45%。这些结果表明，在现有实验框架内，性能提升主要归因于下游分割前的光谱分离性增强。主要贡献包括：引入重建驱动的光谱增强策略以改善野火分割，扩展MST++高光谱重建模型至野火监测场景，以及在低光照和火烟重叠等挑战性条件下实现火焰与烟雾的鲁棒联合分割。总体而言，本研究凸显了RGB到高光谱重建作为物理高光谱传感的实用且经济高效的替代方案在野火监测中的潜力。通过在表示层次增强内在特征分离性，该框架在实验条件下借助简单决策机制实现了准确的野火分割，为当前任务设置中的野火图像分析提供了表示增强的价值，而跨不同分割架构的泛化结论有待未来工作进一步探索。
