面向鲁棒分布外农作物害虫识别的因果图表示学习

《Pattern Recognition》：Causal graph representation learning for robust out-of-distribution crop pest recognition

　　图结构和因果理论解决分布外害虫识别挑战。显式地将害虫图像图分解为因果子图和偏差子图。通过因果干预减轻虚假相关性，以减少混杂因素。在三个数据集上进行的广泛实验证明了所提出方法的优越性。引言害虫侵袭对农业生产率构成严重威胁，导致巨大的经济损失[1]。准确的害虫视觉识别对于部署及时干预措施和制定有效的管理策略至关重要[2]。深度学习方法已被广泛应用于害虫识别，在受控环境下表现出卓越的性能[3]。然而，这些方法在现实世界中的泛化能力仍然有限，因为训练和测试数据不满足独立同分布(i.i.d.)假设[4]、[5]。现实世界场景表现出由各种环境混杂因素驱动的未知分布偏移，如复杂的农业背景。因此，传统模型往往会捕获由这些混杂因素诱导的虚假相关性，这使得分布外(OOD)泛化对于确保稳健性能至关重要[6]。为了缓解分布偏移，现有的OOD泛化方法依赖于卷积神经网络(CNNs)作为主干进行分层特征提取[7]。然而，有限的卷积感受野限制了对长程依赖关系的捕获，这些依赖关系对于建模复杂场景中的全局拓扑结构至关重要，导致泛化能力差[8]。最近的工作引入了视觉Transformer(ViTs)作为基础主干，利用自注意力机制克服局部感受野限制并捕获长程依赖关系[9]、[10]。尽管如此，ViTs将图像块视为序列，缺乏显式的结构归纳偏置。这些模型依赖于隐式的空间建模，难以充分保留复杂视觉场景中的鲁棒拓扑结构[11]、[12]。如图1所示，训练数据和现实世界数据之间的分布偏移由各种环境混杂因素驱动，这导致传统CNNs和标准ViTs关注背景信息。这种现象源于非结构化架构的局限性，这些架构无法显式解耦代理和环境，导致对背景噪声的过拟合[13]、[14]。因此，为了实现鲁棒的OOD泛化，建立显式的结构表示以促不变表示与环境混杂因素的解耦至关重要。与隐式空间建模相反，基于图的表示引入了结构归纳偏置，能够在保留图像块之间空间关系的同时建模长程依赖关系。这种偏置对于处理复杂视觉数据是有利的，因为它显式捕获图像的拓扑结构，为特征解耦提供结构基础[15]。基于这一结构基础，图神经网络(GNNs)利用邻域聚合进行推理和分类任务[15]。然而，传统GNNs在处理OOD数据时遇到困难，因为它们的聚合机制不可避免地传播混杂偏差，并驱动模型利用虚假相关性作为捷径[16]、[17]。由于传统学习范式仅仅建模统计依赖而非潜在因果机制，克服这种脆弱性需要从因果角度出发[18]。将因果干预集成到图表示学习中可以缓解聚合固有的结构混杂偏差，从而提取不变因果表示以实现鲁棒的OOD泛化。在本研究中，采用结构因果模型(SCM)来制定因果机制并指导干预策略。在此基础上，我们提出因果图解耦(CGD)框架以缓解虚假相关性，增强OOD泛化性能。具体而言，我们探索了一种受因果启发的图表示学习框架用于害虫识别，旨在通过减少虚假相关性的影响来提高在分布偏移下的鲁棒性。该模块将视觉块编码为节点，将它们之间的依赖关系编码为边，捕获害虫图像在不同尺度上的内在拓扑结构。随后，我们设计了一个图解耦模块(GDM)，通过参数化图掩膜生成器将图分解为因果子图和偏差子图。我们采用双分支GNN架构将这些子图编码为不同的潜在表示。最后，我们引入了一个特征重组模块(FRM)，为子图分离提供目标性损失监督，并实现表示级别的因果干预。通过排列潜在偏差特征并将其与因果特征结合，可以减少虚假相关性。因此，模型被引导学习不变因果表示，从而实现鲁棒识别。本文的贡献总结如下：我们提出了CGD，一个统一的视觉到图OOD框架，从害虫图像构建多尺度空间图并进行结构感知解耦，能够联合建模结构依赖关系和与背景相关的偏差。我们设计了一个GCM，联合学习互补的节点特征和边拓扑掩膜，将构建的视觉图分解为任务相关子图和偏差相关子图。我们引入了GCM来弥合视觉识别和因果推理之间的差距，将图像转换为多尺度结构图。这种显式的拓扑建模克服了隐式空间依赖的局限性，捕获局部细节和全局配置。我们设计了GDM和FRM以协作缓解虚假相关性。具体而言，GDM将图划分为因果子图和偏差子图，而FRM通过目标性损失监督鼓励这种分离。此外，FRM通过特征排列在表示级别近似因果干预，避免数据级别图干预的不可处理性，以提取不变因果特征并增强OOD泛化。与现有泛化方法进行的广泛对比实验表明，所提出的CGD框架在作物害虫数据集上在分布偏移下实现了优越的鲁棒性和准确性。章节摘要害虫识别深度学习中的最近研究显著推动了自动作物害虫识别的分类性能。Martineau等人[19]的工作回顾了早期的特征提取方法，旨在解决核心视觉挑战，包括尺度变化和背景杂乱。在此基础上，后续研究旨在增强架构鲁棒性。Ma等人[20]引入了一个专门架构以增强害虫识别下的鲁棒性……方法论在本节中，我们采用结构因果模型(SCM)来形式化潜在因果关系并指导干预策略。如图2(a)所示，我们呈现因果图解耦(CGD)框架以缓解虚假相关性。通过使用多尺度图表示，所提出的框架捕获害虫图像中的空间依赖关系并减少背景偏差的影响，从而提高了在分布偏移下的鲁棒性。我们详细描述了……实验在本节中，我们在三个数据集上进行了实验，包括Pest-OOD [23]、CUB-200-2011 [36]和Waterbirds [37]，涵盖了OOD和i.i.d.设置以评估所提出方法的有效性。具体而言，我们将CGD与最先进的方法在各种指标上进行比较，进行消融研究以隔离各个组件的贡献，并可视化学习到的特征以评估表示质量。结论在本研究中，我们提出因果图解耦(CGD)框架来解决农业害虫识别中的分布外(OOD)泛化瓶颈。受因果理论启发，CGD构建多尺度拓扑图来表征视觉特征之间的结构关系，并引入受因果干预启发的解耦策略，鼓励学习不太依赖于分布特定变化的表示。CRediT作者贡献声明李光科：撰写——原稿、验证、软件、资源、方法论、数据管理、概念化。腾月：撰写——审阅与编辑、监督、方法论、调查、资金获取、概念化。林承辉：撰写——原稿、方法论、概念化。刘昭婷：监督、方法论、调查。金济：监督、方法论、调查。刘伊：监督、方法论、调查。林传文：监督……生成式AI和AI辅助技术使用声明在准备本工作期间，作者未使用任何生成式AI或AI辅助技术来生成或撰写本手稿的内容。利益冲突声明作者声明他们没有已知的竞争性财务利益或个人关系，这些可能影响本论文报告的工作。致谢本工作得到了国家自然科学基金（青年科学基金项目，批准号32401706）和安徽省2024年重点研究与开发计划（重点项目：人工智能高质量数据开放创新平台关键技术研究，批准号202423k09020005）的支持。作者列表：李光科|腾月|林承辉|刘昭婷|金济|刘伊|林传文