基于三维卷积神经网络(3D CNN)的矿区场景分类与语义分割

《Remote Sensing》:Mining Scene Classification and Semantic Segmentation Using 3D Convolutional Neural Networks André Estevam Costa Oliveira, Matheus Corrêa Domingos, Valdivino Alexandre de Santiago Júnior and Maria Isabel Sobral Escada

【字体: 大 中 小 】 时间:2026年04月13日 来源:Remote Sensing 4.1

编辑推荐:

  高光谱遥感(Hyperspectral Remote Sensing, HRS)为作物病害监测提供了关键的生化与结构信息,然而其在棉花黄萎病(Cotton Verticillium Wilt, VW)中的应用主要集中于单时期评估或多时期分类。此类方法忽视了这一

  
高光谱遥感(Hyperspectral Remote Sensing, HRS)为作物病害监测提供了关键的生化与结构信息,然而其在棉花黄萎病(Cotton Verticillium Wilt, VW)中的应用主要集中于单时期评估或多时期分类。此类方法忽视了这一维管束病害的渐进性特征,即色素、水分及叶肉响应随时间演变的特性,使得时序高光谱信息对于可靠病情度量的重要性被低估且利用不足。为克服这一局限,研究人员对棉花叶片开展了逐日连续时序观测,收集了2895条高光谱反射率测量数据与770幅高分辨率RGB图像,并同步记录病情严重度,构建了涵盖从无症到严重阶段的密集时序光谱-严重度数据集。研究人员提取了五类病害相关植被指数(Vegetation Indices, VI),并将其组织为5天光谱-时间切片。基于这些特征,研究人员提出了一种双分支Transformer-时间卷积网络(Transformer-Temporal Convolutional Network, Transformer-TCN)模型,该模型通过自注意力机制捕获全局时间依赖性,同时通过扩张因果卷积(Dilated Causal Convolution)解析局部时间变化,以实现病情严重度反演。该模型取得了最优性能,决定系数(R2)达0.8813,以R2计超出多种单一及混合时序替代模型0.0446–0.1407,相当于相对提升5.33%–19.00%。时序光谱特征亦优于非时序对应特征,表明时序光谱所捕捉的病程动态对可靠病情反演至关重要。特征贡献分析显示,蓝红指数(Blue Red Index, BRI)贡献最高,与单指数时序建模结果一致;光合及水分相关指数提供次要但互补的支持。综上,研究结果证实双分支Transformer-TCN模型能够捕捉棉花黄萎病与病情严重度之间的复杂光谱-时间关系,为作物病害监测与评估提供了方法学支撑。
## 研究背景与问题

棉花黄萎病(Verticillium Wilt, VW)是由大丽轮枝菌(Verticillium dahliae)和黑白轮枝菌(Verticillium albo-atrum)等土传病原真菌引起的毁灭性维管束病害,可导致棉花年产量损失高达30%。准确及时的病情严重度(Disease Severity, DS)监测对病害管理和精准农业决策至关重要。传统田间评分方法虽快速但存在评估者主观性,实验室诊断技术虽可靠却劳动密集、耗时且常需破坏性取样。遥感技术由此成为快速、无创、连续监测的有效替代方案。病原侵染改变色素浓度、叶片含水量、细胞结构及胁迫生理,在可见光至近红外波段产生特征性反射变化。高光谱遥感能高灵敏度检测这些生化与结构扰动,为作物病害监测提供强理论基础。然而,现有研究多为单时期评估或多时期分类,未能充分利用黄萎病作为渐进性宿主-病原互作的时间维度信息——早期感染因病原负载有限仅致轻微扰动,后期维管束堵塞则导致色素浓度、光合活性、水分状态及叶肉结构的显著变化,且响应幅度因生育期和感染阶段而异。

当前研究存在两大关键局限:一是光谱特征中嵌入的时间信息利用不足,二是现有方法多限于多时期分类或阶段特定评估,而非精确的定量严重度反演。虽有研究将时间信号用于病害识别,如利用无人机(Unmanned Aerial Vehicle, UAV)多光谱数据构建植被指数时序变化特征进行小麦条锈病严重度分级,或利用多时相卫星影像构建时序特征向量识别黄萎病感染区,但针对渐进性维管病害的复杂光谱-时间依赖性挖掘仍不充分,且深度学习时序架构的应用相对有限。循环神经网络(Recurrent Neural Network, RNN)及其变体如长短期记忆网络(Long Short-Term Memory, LSTM)和双向长短期记忆网络(Bidirectional Long Short-Term Memory, BiLSTM)虽被用于捕捉病害进展动态,但在建模长程时间依赖性方面存在不足。Transformer架构凭借多头自注意力机制(Multi-Head Self-Attention, MHSA)擅长捕获全局时间关系,时间卷积网络(Temporal Convolutional Network, TCN)则通过扩张因果卷积高效建模局部时间模式,二者互补为更有效的光谱指数时序分析提供基础,但其联合应用于高光谱时序建模以估计棉花黄萎病严重度尚待探索。

## 研究设计与方法

本研究于2023年在中国新疆石河子农业科学研究所国家黄萎病试验田开展。新疆是全球主要产棉区,占全球棉花产量23.1%。田间试验接种维持稳定一致的病害压力,灌溉施肥遵循当地农艺实践以避免非病害胁迫干扰。叶片时序观测于2023年8月4日至9月10日进行,历时38天,覆盖黄萎病爆发高峰期及棉花关键生育阶段。研究人员对29片主茎叶进行逐日原位连续监测,共采集2895条叶级高光谱反射率记录和770幅同步高分辨率RGB图像。高光谱数据使用Spectral Evolution PSR+ 3500手持光谱辐射仪获取,波长范围350–2500 nm;RGB图像使用iPhone 14 Pro采集。

数据处理方面,原始光谱经裁剪、质量控制及Savitzky-Gololay滤波平滑后,计算了34个常用植被指数,分为五类:叶黄素循环与荧光指数、色素指数、生化吸收指数、结构指数和水分含量指数。采用滑动窗口策略构建5天固定长度的时间序列切片样本,窗口步长为1天,标签定义为窗口最后一天的病斑覆盖率。

模型架构上,研究人员提出Transformer-TCN双分支模型。TCN分支采用扩张一维卷积与残差连接,逐步扩大时间感受野以提取局部时间动态;Transformer编码器分支通过自注意力机制直接建模5天输入窗口内不同时间步的全局交互。两分支输出经拼接后通过一维卷积融合模块生成统一表征,最终经全连接层映射为单输出严重度值。该端到端设计无需额外人工特征工程。研究人员还设置了九种代表性深度学习架构进行基准比较,包括单一结构模型(CNN、LSTM、Transformer、TCN)和混合配置(CNN-LSTM、CNN-TCN、Former-CNN、Former-LSTM),并在统一数据集和实验协议下系统评估。评估指标采用R2、均方根误差(Root Mean Squared Error, RMSE)、性能与偏差之比(Ratio of Performance to Deviation, RPD)和性能与四分位距之比(Ratio of Performance to Interquartile Range, RPIQ),同时运用Shapley可加解释(SHAP)框架评估模型可解释性。所有模型基于PyTorch框架实现,使用Adam优化算法,学习率固定为0.0003,批量大小为128,数据集按7:2:1划分为训练、验证和测试集。

## 研究结果

**时序深度学习架构比较**。Transformer-TCN模型取得最高预测精度,R2达0.8813,显著优于所有对比模型。融合模型整体优于各自的单分支对应模型:CNN-Transformer、Transformer-LSTM和CNN-TCN的R2分别为0.8367、0.8272和0.8192。单一架构基线中,Transformer(R2=0.7910)与TCN(R2=0.7898)性能相近,均优于LSTM(R2=0.7406)和CNN(R2=0.7491)。简单双分支融合模型虽有一定提升,但幅度取决于时序建模机制有效性;仅依赖循环结构进行时间聚合不足以充分捕捉病害指数的演化。Transformer-TCN结合全局注意力与局部卷积时间建模,实现了跨尺度时序特征的协同表征,最适合表现黄萎病阶段性、渐进性特征。

**基于SHAP分析的光谱指数贡献**。SHAP全局重要性排序显示色素相关指数主导模型预测,尤以蓝光谱区域相关指数为甚。蓝红指数(BRI)和叶片色素指数(LIC)贡献最高,绝对SHAP值分别为0.294和0.292,其次是VOG2和GM。光合及水分敏感指数形成次要贡献层,PRI2(SHAP值0.255)和NDWI2贡献显著。多数结构和生化吸收指数重要性较低。SHAP分布进一步表明主导色素指数对模型输出保持稳定的定向效应,而低排名指数贡献模式更为分散。时序归因分析显示,特征贡献在5天窗口内呈动态变化,T3和T4时刻SHAP响应普遍较强,T1相对较弱,表明模型更依赖接近标签日的后期观测,同时保留窗口起始的有用趋势信息。BRI在多个时间步保持高SHAP值,尤其在T3–T4表现突出,表明蓝波段色素信息是5天序列中最稳定持久的信号。

**特征维度对时序建模的影响**。全特征时序模型(34指数)取得最高精度,但单指数5天时序模型仍保持竞争力。蓝波段相关指数,特别是BRI(R2=0.7980),展现出最强预测能力,达全特征模型精度的90%以上。荧光及水分相关指数内部变异性显著,生化指数精度普遍较低。该模式与SHAP排序一致,证实蓝波段相关指数最具影响力的同时,多指数互补整合仍提供最可靠性能。

**时间信息对模型性能的贡献**。非时序输入条件下,所有模型精度均显著下降,R2介于0.6668至0.7650之间。Transformer-TCN在非时序场景下仍获最佳性能(R2=0.7650),但仍远低于其时序对应值0.8813。表明非时序指数特征不足以捕捉黄萎病的渐进生理响应和阶段性进展特征,时间信息对提升预测精度起关键作用。

**消融研究与超参数分析**。超参数网格搜索显示Transformer-TCN对学习率和批量大小敏感。最优配置为学习率3×10-4、批量大小8,此时R2达0.8813。消融实验表明,仅保留TCN分支时R2为0.7248(RMSE=0.4683),仅保留Transformer分支时提升至0.7886(RMSE=0.4503),双分支整合后进一步达到0.8813(RMSE=0.3375)。证实两分支均对严重度反演有实质性贡献,TCN更擅局部时间动态,Transformer更适全局时间依赖,二者整合可同时表征局部变化与整体演化趋势。

## 讨论

**时序光谱响应分析**。病原定殖木质部导致导管堵塞和毒素分泌,扰乱水分养分运输,诱发水分亏缺、气孔调节变化及光合活性降低,伴随叶绿素和类胡萝卜素含量下降及组织结构渐进损伤。这些生理扰动在特定波长区域产生可测光谱响应。SHAP结果定量证实色素敏感指数主导预测,蓝波段色素特征贡献最强,红边相关色素特征次之。500–520 nm区域受叶绿素和类胡萝卜素吸收共同影响,430–453 nm区域对应叶绿素a和叶绿素b的主要吸收峰且受类胡萝卜素吸收调制。黄萎病中维管运输堵塞伴随持续色素系统破坏和光合抑制,相关叶绿素降解和类胡萝卜素 variation 随病程持续演变,故蓝光谱区域能更直接表征持久色素变化,产生更连续、时间一致性更强的信号,解释BRI和LIC rankings。VOG2和GM属红边及红边邻域信息,反映叶绿素特征重要贡献;但红边位置主要受叶绿素浓度控制,形状额外受结构变化影响,而结构变化通常比色素变化更具阶段依赖性且存在滞后,故红边相关特征的时间病害响应一致性略弱于直接追踪持久色素变化的蓝波段特征。光合相关和水分敏感指数形成次要贡献层,但其贡献呈现显著变异性,反映病害进展中光合活性调节的复杂动态及瞬时光照条件和短期生理调整引入的时间变异性。水分相关指数显示中等但可变的重要性,病原胁迫下棉花叶片调节气孔导度和内部水分重分布以维持临时膨压稳定,叶水状态受动态调节过程而非严格遵循病斑扩展轨迹,故水分相关光谱信号时间上常呈非单调波动,限制其贡献稳定性。多数结构和生化吸收指数重要性较低,虽结构退化属黄萎病发展组成部分,但与病斑扩展关系更间接且常滞后于色素相关变化。

**局限与展望**。当前Transformer-TCN框架主要建立在叶级原位点状光谱测量基础上,以连续光谱特征序列为主输入,尚未显式整合病斑分布格局和叶位差异等空间信息。未来应结合无人机和卫星平台获取的高光谱影像,联合整合空间与光谱特征,建立更大尺度作物病害监测的空间-光谱表征框架。此外,该框架虽在棉花黄萎病严重度估计中表现强劲,但因作物、病害类型和生境条件的光谱响应机制差异,其在更多样病害场景下的适应性、迁移能力和泛化能力仍有待系统评估。未来需依赖更丰富均衡的数据集,评估该方法在跨作物、跨病害和跨场景设置下的稳定性与可扩展性,同时探索针对小样本条件的智能建模策略,以进一步提升复杂真实环境中的适用性。

研究结论部分翻译如下:棉花黄萎病对产量构成重大威胁,叶级严重度反演依赖于从高光谱时序数据中提取全局和局部病害特征。本研究中,研究人员构建了涵盖五类植被指数的光谱-时间严重度数据集,并整合Transformer与时间卷积网络的互补优势,开发了Transformer-TCN架构以实现精准的叶级严重度估计。具体而言,Transformer分支使用多头自注意力建模跨时间步的全局依赖,而TCN分支采用扩张因果卷积捕捉局部时间波动和精细模式。融合分支随后联合整合全局与局部光谱-时间表征。与八种代表性深度学习模型的对比实验表明,所提Transformer-TCN始终取得最佳性能,R2达0.8813。此外,其显著优于非时序光谱指数所得结果,凸显时间信息在表征病害响应和提升反演稳定性方面的关键作用。特征贡献分析进一步揭示,色素敏感信息主导模型性能,蓝波段相关指数尤其BRI贡献最高;光合和水分相关指数提供次要但互补的信息,与单指数时序建模结果一致。总体而言,通过建模高光谱时序动态,本工作实现了叶级黄萎病严重度的高精度智能估计,为推进时序高光谱病害监测和支持科学化田间管理提供了技术基础。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号