基于梯度反转的域自适应特征学习自动化注释方法，用于昼夜监控下的动物入侵检测

《Engineering Applications of Artificial Intelligence》：Automated annotation with gradient-reversal-based domain adaptive feature learning for animal trespass detection under day-night surveillance

动物闯入检测中，基于弱监督的目标检测结合对抗域适应技术，提出Discriminative Region Suppression模块抑制强区分区域以生成更全面的类激活图，并通过ResNet-50细化边界框，同时利用梯度反转层消除光照域偏移，实现低光条件下的检测精度提升和公平性优化。

　　

S. 斯里·塞图·马德哈万（S. Sri Sethu Madhavan）| K. 穆罕默德·哈桑（K. Mohamed Hassan）| 布瓦内斯瓦里·斯瓦米纳坦（Bhuvaneswari Swaminathan）

计算机科学与工程系，斯里尼瓦萨·拉马努金中心（Srinivasa Ramanujan Centre），萨斯特拉大学（SASTRA Deemed University），昆巴科纳姆（Kumbakonam），612 001，印度

摘要

在农业和住宅区使用的实际监控系统中，由于缺乏边界框注释以及来自不同光照条件（尤其是昼夜）的领域偏差，动物入侵检测仍然具有挑战性。本文介绍了一种新框架，该框架结合了弱监督对象检测和对抗性领域适应机制来克服这些问题。由于现有数据集缺乏详细的注释，因此需要一种能够提供精确边界框的注释机制。大多数先进的弱监督模型由于存在强区分性对象区域而难以生成高质量注释。因此，使用了一个包含区分性区域抑制模块（Discriminative Region Suppression）的数据集注释器来生成高质量的类别激活图（Class Activation Maps）。该模块迫使模型不再依赖强区分性区域，从而帮助学习对象较少的主导区域。然后，使用基于ResNet-50的细化模块来增强边界框并获得高质量注释。为了对抗领域偏差，梯度反转层（Gradient Reversal Layer）帮助模型遗忘导致偏见预测的特征，从而提高模型的整体公平性。实验结果表明，所提出的方法即使在低光照条件下也能显著提高检测精度，并将跨领域的Kullback–Leibler散度降至接近零，表明成功地去除了偏差。此外，弱监督数据注释器的总体交并比达到了71.4%，而去偏模型获得了0.94的平均精确度。所提出研究的源代码已上传到以下GitHub链接：

引言

近年来，动物入侵已成为一个主要威胁，尤其是在农业用地和靠近森林或野生动物走廊的农村地区。大象和野猪等野生动物经常侵入农田寻找食物，这会对农作物和农田造成损害，甚至带来风险。同样，在住宅区，流浪动物或野生动物侵入人类栖息地也对公共安全构成威胁，并且是事故的主要原因。这些挑战凸显了自动监控系统的迫切需求。传统的监控方法人力密集且容易出错，尤其是在广阔的领土或夜间。因此，能够实时检测动物入侵的自动系统越来越受到关注。已经提出了各种深度学习模型（Sim?es等人，2023年；Norouzzadeh等人，2018年）来解决这个问题。然而，早期的方法主要依赖于分类网络，这些网络仅确定图像中是否存在动物。这些方法缺乏空间意识，通常无法定位感兴趣的对象，因此不适合实际场景。由于这一复杂性，对象检测模型开始出现，因为它们能够同时定位和分类对象，从而提供空间感知信息。

对象检测有广泛的应用，例如海洋生态系统监测、监控、智能交通系统（Harrou等人，2022a, 2022b）等，并分为一步检测器和两步检测器。一步检测器具有速度优化优势，更适合实际应用。例如YOLO（You Only Look Once）（Redmon等人，2016年）、RetinaNet（Lin等人，2017年）、SSD（Single Shot Detector）（Liu等人，2016年）都是一步检测器的例子。两步检测器如Faster R-CNN（Ren等人，2015年）和Mask R-CNN（He等人，2017年）能够产生更准确的分类和更好的定位结果。其中，Faster R-CNN因其提取最关键特征的能力及其区域提案网络（Region Proposal Network，RPN）而更受青睐，这使得它能够更好地泛化类别。然而，对象检测模型本质上依赖于大型注释数据集才能良好泛化。当这些注释缺失或有偏差时，模型的性能会下降或训练出偏差，使其在多样化环境条件下效率低下（Beya等人，无日期）。

手动对象注释始终是一项费时且劳动密集的任务。为了解决注释缺失的问题，可以采用弱监督对象注释（Weakly Supervised Object Annotation，WSOA）方法。这种WSOA方法生成图像级别的标签，有助于大致定位对象。这种方法可能比手动标注每张图像中的对象更高效和准确（Abela等人，2022年）。然而，这种方法利用了通过弱监督训练的模型生成的类别激活图（Class Activation Maps，CAMs），但由于模型关注对象的最区分性区域，这些CAMs可能不准确。此外，这些用于动物入侵的数据集大多是在不同光照条件下实时从各个地区收集的。这会在训练模型时导致领域偏差，因为模型可能在白天光照条件下表现更好，但在夜间或低照明条件下表现不佳。因此，解决边界框注释缺失和光照引起的领域偏差问题对于实时有效的动物入侵检测非常重要。除了注释问题外，对象检测模型还需要在不同领域内实现公平和无偏的泛化。尽管现有的对象检测模型在弱监督和领域转换条件下取得了一定程度的成功，但其检测效率和精度仍然有限。大多数先前方法严重依赖区分性区域，这导致定位不完整并降低检测精度。在低照明条件下，它们的效率进一步下降，清楚地表明它们无法在领域间良好泛化。

通过解决注释效率和模型公平性问题，本文提出了一种新的注释器和去偏对象检测模型。新的注释器由两个主要部分组成：区分性区域抑制（Discriminative Region Suppression，DRS），它使VGG模型能够解决区分性区域问题，从而提供更好的空间类别激活图，有助于突出整个对象而不是孤立的部分。ResNet-50分类器作为注释过滤单元，以获得更可靠的边界框，从而生成精细的对象注释。引入了一种新的去偏网络来克服特定领域的潜在偏差。该网络使用Faster R-CNN模型，并在对抗性循环中训练，引导模型基于对象的特征而不是领域特征进行特征提取。为了获得领域不变的特征，它在Faster R-CNN模型中加入了梯度反转层（Gradient Reversal Layer，GRL）和领域分类器。该模型显著减少了模型中的偏差，这一点通过Kullback–Leibler（KL）散度得到证明，从而实现了公平的泛化。这种提出的流程在准确性和定位方面都取得了更好的性能，而无需依赖手动注释的数据集。

与传统的WSOD方法（WSDDN、OICR、PCL、C-MIL）不同，这些方法仅改善了CAM的质量，新提出的工作研究了一个之前未探索的问题：当下游检测器在严重光照领域转换下训练时，弱生成的伪注释的行为如何。类似地，如DA-Faster R-CNN这样的领域自适应检测器假设存在干净的真实边界框，并在全球特征级别进行对齐。相比之下，该检测器完全在伪框上训练，并在ROI特征空间进行领域对齐，其中做出分类决策。这使得我们的框架既不是WSOD方法，也不是标准的UDA检测器，而是第一个统一研究伪注释可靠性和昼夜动物入侵监控的ROI级别去偏的方法。

所提出模型的主要贡献如下：

?

为了减少手动注释的时间消耗，提出了一种带有DRS模块的新数据集注释器。该模块作为弱监督网络，通过抑制对象的最区分性区域来生成更好的类别激活图。

?

由于领域偏差导致大多数构建良好的数据集表现不佳，因此引入梯度反转层的想法大大有助于遗忘不相关的特征，从而显著提高了泛化能力，并增强了系统在实时场景中的可靠性。

?

值得注意的是，所提出流程的结果在所有标准对象检测和偏差指标上都优于现有的最先进模型。这使得所提出的流程更加灵活和适应各种领域，从而可以减少模型中的潜在偏差并提高类别间的公平泛化。

本文的其余部分组织如下：第2节解释了相关工作。第3节介绍了新的注释器和去偏网络。第4节总结了实验设计、基线技术比较以及用于验证结果的评估措施。它还包括分析和讨论的实验发现。第5节总结了本文的潜在未来方向。

相关文献

相关研究

检测动物入侵住宅区或农业用地的情况更加复杂，面临诸如注释、领域偏差和实时对象检测等挑战。本节探讨了以下概念的相关文献综述：弱监督对象检测、基于CAM的定位和对象检测系统中的去偏。

提出的方法

动物入侵农业和居住区对财产、农业生产以及人类安全构成重大威胁，经常导致野生动物与人类社区之间的冲突。数据集存在一些主要限制，例如类别不平衡。因此，这项工作首先解决了动物入侵数据集的实时问题。因此，不平衡的数据集需要可靠的注释

结果与讨论

所提出的流程（包括弱监督新注释器和去偏网络）的结果已在以下部分进行了说明和讨论。实验评估和模型实现是在基于Windows的环境中进行的，该环境配置旨在平衡计算效率和稳定的开发体验。以下是所使用系统的详细规格：

•

操作系统：Windows 10 Pro

•

Windows版本：22H2

•

处理器：Intel(R) Core

结论

这项工作提出了一种使用弱监督数据集进行实时动物入侵检测的解决方案。该方法通过提供有效的注释和去偏流程，解决了边界框缺失和领域偏差两个挑战。添加的区分性区域抑制模块与CAM一起帮助解决了对象定位问题，而进一步使用ResNet50细化注释提供了更可靠的边界框。此外，

CRediT作者贡献声明

S. 斯里·塞图·马德哈万（S. Sri Sethu Madhavan）：撰写——原始草稿，软件。

K. 穆罕默德·哈桑（K. Mohamed Hassan）：方法论，形式分析。

布瓦内斯瓦里·斯瓦米纳坦（Bhuvaneswari Swaminathan）：撰写——审阅与编辑，监督，概念化。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。

致谢

作者感谢萨斯特拉大学（SASTRA Deemed University，Thanjavur）为进行这项研究工作提供了基础设施支持。