《Smart Agricultural Technology》：Coughing pig identification method based on multimodal fusion and hierarchical temporal modelling in group-housed environments
编辑推荐：
咳嗽是猪呼吸道疾病的典型临床症状，是评估猪群健康状况的重要指标。然而，现有基于音频的技术在准确定位个体猪方面常面临挑战，限制了其在猪健康监测中的应用。为解决该局限，研究人员开发了一种基于多模态融合的咳嗽猪检测方法，其中采用声音事件检测（sound event
咳嗽是猪呼吸道疾病的典型临床症状，是评估猪群健康状况的重要指标。然而，现有基于音频的技术在准确定位个体猪方面常面临挑战，限制了其在猪健康监测中的应用。为解决该局限，研究人员开发了一种基于多模态融合的咳嗽猪检测方法，其中采用声音事件检测（sound event detection, SED）识别咳嗽事件，并利用计算机视觉技术在视频中精确检测咳嗽猪。研究建立了分层时序建模框架，通过通道注意力整合视听特征，使用双向门控循环单元（bidirectional gated recurrent unit, BiGRU）网络进行时序建模，并利用自注意力（self-attention, SA）对时序特征重新加权，以准确捕获咳嗽行为的短期动态变化和长期时序依赖。结果表明，平均精度均值（mean average precision, mAP）、精确率（precision）、召回率（recall）、F1分数（F1 score）和错误率（error rate, ER）的平均值分别为0.96、0.86、0.92、0.89和0.23。此外，在夜间低照度条件下，平均mAP达到0.96，表明该方法在评估的夜间子集中保持了良好的检测性能。本研究为开发群养猪呼吸道健康监测与预警智能系统提供了方法学基础。
论文解读
呼吸道疾病是现代养猪业面临的关键健康挑战之一，可导致死亡率升高、饲料效率下降以及疫苗和疾病控制支出增加，进而影响生产效率、经济收益和动物福利。以猪繁殖与呼吸综合征病毒（porcine reproductive and respiratory syndrome virus, PRRSV）为例，其在美国造成的年生产力损失估计超过10亿美元，中国猪场也报告了可观经济损失。当前商业猪场对呼吸道疾病的诊断和严重程度评估主要依赖农场巡查、常规屠宰检查、血清学调查以及死亡或安乐死动物剖检。这些方法通常需要多项人工操作，检测成本高、诊断周期长，且多在疾病进展或死亡后应用，难以支持集约化养殖环境中的早期发现和连续监测。耳标、呼吸带传感器等接触式监测需直接接触动物体表获取生理数据，但设备成本高且可能造成应激，限制大规模部署。因此，需要非侵入式监测方案。猪呼吸道疾病常见咳嗽和呼吸困难；呼吸困难表现为呼吸率显著增加，但呼吸率变异较大、需连续监测且易受环境温度和动物活动干扰；平均日增重需长期体重监测，具有滞后性；咳嗽是最常见且易观察的临床征象，常作为评估猪群呼吸健康的关键指标。
已有咳嗽声分析研究多聚焦于猪舍内咳嗽声识别，难以在群养环境中准确定位具体猪栏或个体。声源定位方法多实现栏级空间定位，不能区分同栏不同个体，个体级验证在群养环境中仍具挑战。为克服纯声学方法局限，研究人员开始引入视频信息并进行视听联合分析。Kim et al.提出基于视听信息识别咳嗽猪的方法，先检测咳嗽事件，再利用运动历史图像分析咳嗽引起的短暂身体运动，但主要依赖手工设计运动特征和阈值规则，在行为多样、干扰复杂的群养环境中鲁棒性仍需验证。主动说话人检测（active speaker detection, ASD）提供了跨模态关联范式：在多个视觉候选者中识别实际发声个体。Chae et al.受此启发开发了基于深度学习的多模态咳嗽猪识别方法，联合学习声学特征和视频时序运动表示，但既往研究主要在常规可见光条件下评估。夜间和清晨环境噪声及动物活动通常较低，可能提供更稳定观察环境，因此系统评估夜间条件具有实际意义。
在此背景下，研究人员在前期研究基础上开发了基于视听多模态融合的咳嗽猪识别方法，并使用猪肺炎支原体（Mycoplasma hyopneumoniae, Mhp）感染猪系统评估识别性能和有效性。研究主要贡献包括：构建任务特定的分层视听时序建模架构，通过通道注意力融合音频和视频特征，并使用BiGRU网络和SA机制进行时序建模；将BiGRU模块与分类层解耦并专用于时序特征提取，提高模型对咳嗽模式短期动态变化的响应能力；引入包含夜间低照度场景的数据集，评估白天和夜间条件下性能。研究结论显示，该方法平均mAP为0.96，个体识别平均precision、recall、F1 score和ER分别为0.86、0.92、0.89和0.23；夜间低照度下平均mAP仍达0.96，表明其在评估的夜间子集中保持良好检测性能，为群养猪呼吸道健康监测和预警智能系统提供方法学基础。
关键技术方法方面，研究数据来源于江苏省农业科学院兽医研究所生物安全二级（Biosafety Level 2, BSL-2）实验室2024年8月至10月开展的42天Mhp攻毒实验；纳入10头60日龄杜洛克×长白×约克夏杂交育肥猪，对照和实验组各半，连续采集背部视频（25帧/s），人工识别300个明确咳嗽片段（白天200个、夜间100个）。主要方法包括：基于SED-CRNN（sound event detection convolutional recurrent neural network，声音事件检测卷积循环神经网络）检测咳嗽事件并提取log-Mel声学特征及BiGRU表示；利用YOLO26-OBB（oriented bounding box，定向边界框）在最高咳嗽概率帧检测猪只并以旋转框裁剪相邻帧；咳嗽猪识别模块采用视觉编码器、通道注意力视听融合、BiGRU和SA进行分层时序建模；以mAP、precision、recall、F1 score、ER和视频级准确率评估。
3.1 咳嗽事件检测结果（Coughing event detection results）：通过4折交叉验证评估咳嗽事件检测模块。帧级平均F1为0.88、平均ER为0.28；事件级平均F1为0.68、precision为0.62、recall为0.75。帧级表现最佳折的F1为0.95、ER为0.10，事件级F1为0.71、precision为0.63、recall为0.81；该折用于后续猪视听数据集构建，以提供更可靠音频特征表示和帧级咳嗽概率估计，并非代表模型总体泛化性能。
3.2 猪只目标检测结果（Pig object detection results）：在IoU（intersection over union，交并比）阈值0.50—0.95下，猪只目标检测模块平均mAP为0.94；无论白天或夜间均能准确检测视频中的所有猪，表明其在不同光照条件下具有稳健性，为后续咳嗽猪识别提供基础。
3.3 咳嗽猪识别结果（Coughing pig identification results）：通过五次独立训练评估识别模块稳定性。总体平均mAP为0.96±0.01，precision为0.86±0.02，recall为0.92±0.02，F1 score为0.89±0.01，ER为0.23±0.02，视频级准确率为0.80±0.01。白天条件下mAP为0.96±0.01，precision为0.84±0.03，recall为0.93±0.02，F1 score为0.88±0.01，ER为0.25±0.03，视频级准确率为0.80±0.01；夜间低照度下mAP为0.96±0.03，precision为0.92±0.03，recall为0.89±0.02，F1 score为0.90±0.02，ER为0.19±0.05，视频级准确率为0.82±0.05。夜间推理视频较少（白天56个、夜间24个），指标波动略大但范围较小，整体检测稳定。计算效率方面，咳嗽事件检测、猪只目标检测和咳嗽猪识别模块参数量分别为0.36 M、58.78 M和14.34 M，FLOPs（floating point operations，浮点运算次数）分别为92.62 M、203.76 G和50.97 G（T=50）；对含5头猪的8.68 s视频，端到端推理约14.85 s。示例中，咳嗽猪（Pig 3）在标注咳嗽区间保持高概率，其他猪概率接近零，说明时序建模模块有效捕获咳嗽相关声学模式。
3.4 消融实验（Ablation experiments）：通过比较Fusion、BiGRU和SA三种配置评估各模块贡献。完整模型总体mAP为0.96、precision为0.86、recall为0.92、F1 score为0.89、ER为0.23、视频级准确率为0.80，优于其他配置。引入通道注意力视听融合后，mAP、precision、recall、F1 score和视频级准确率不同程度提高，ER由0.30降至0.23，各指标标准差收窄，说明融合质量影响性能和稳定性。去除SA后ER由0.23升至0.71，precision降至0.64，recall仍为0.91，表明SA主要减少假阳性而非漏检；BiGRU建模局部时序动态，SA建立全局时序依赖并重加权，缺少SA时非咳嗽运动和视听轻微错位等时序噪声更易影响预测。与不含BiGRU方法相比，完整模型mAP、recall、F1 score和视频级准确率提高，ER降低，指标标准差下降，说明双向时序依赖建模对性能和稳定性重要。三者协同使模型保持较高recall并降低ER。
3.5 比较实验（Comparative experiments）：通过Visual-only模型比较评估音频贡献。仅视觉模型已具较好性能，加入音频后mAP由0.94升至0.96，precision、recall和F1 score分别由0.79、0.90和0.84升至0.86、0.92和0.89，视频级准确率由0.75升至0.80，ER由0.36降至0.23。同一咳嗽事件中候选猪共享音频信号，音频本身不能直接区分具体咳嗽猪，个体空间判别仍主要依赖视觉；音频提供咳嗽事件发生时序信息和声学上下文，有助于抑制行走、姿态调整和身体接触等非咳嗽运动造成的视觉混淆。与Kim et al.、LR-ASD、TalkNet-ASD和CPD Model比较，Kim et al.方法precision为0.17、recall为0.33、F1 score为0.22、ER为2.33、视频级准确率为0.24，说明手工运动表示和规则决策区分能力有限；学习型方法整体更优。所提方法mAP最高（0.96±0.01），优于CPD Model（0.95±0.01）、LR-ASD（0.94±0.02）和TalkNet-ASD（0.92±0.02）；LR-ASD precision最高（0.91）但recall最低（0.78）；所提方法recall最高（0.92）、F1 score最高（0.89）、ER最低（0.23）、视频级准确率最高（0.80），在假阳性和漏检间取得更均衡折中。计算效率上，LR-ASD参数0.66 M、16.45 G FLOPs、推理0.0102 s/序列；所提方法14.34 M、50.97 G FLOPs、0.0121 s/序列，与TalkNet-ASD和CPD Model推理时间相近但识别性能更好。配对t检验显示，与CPD Model在F1 score、ER和视频级准确率差异显著；与LR-ASD在recall、F1 score、ER和视频级准确率差异显著，precision显著低于LR-ASD；与TalkNet-ASD在mAP和视频级准确率差异显著（p<0.05）。
讨论部分总结：现有ASD方法应用于猪咳嗽识别时适应性有限，现有咳嗽猪识别模型在群养条件下稳定性仍可改进。主要挑战在于猪咳嗽事件持续时间高度可变、边界模糊，多模态线索易受环境噪声影响，仅依赖局部时序建模或拼接式跨模态交互难以同时捕获关键咳嗽片段并保持稳健整体判别。研究采用通道注意力融合自适应整合视听特征，减少冗余特征聚合对后续时序建模的影响；采用BiGRU与SA结合的分层时序建模框架捕获短时和持续咳嗽事件。比较中，该方法取得最高平均recall、可接受假阳性水平、最高平均mAP、F1 score和视频级准确率及最低平均ER；统计检验显示多个关键指标显著改善，但达到显著的指标因比较模型而异。
研究结论部分翻译：为应对群养环境中准确本地化咳嗽个体及多模态信息利用不足的挑战，提出一种基于视听融合的咳嗽个体识别方法。该方法由三个模块组成：咳嗽事件检测模块、猪只目标检测模块和咳嗽猪识别模块。首先，咳嗽事件检测模块定位咳嗽事件时间区间并提取音频特征；随后，猪只目标检测模块检测并裁剪个体猪；最后，咳嗽猪识别模块联合建模视听序列，实现咳嗽猪准确识别。实验结果显示，所提方法平均mAP为0.96，个体识别平均precision、recall、F1 score和ER分别为0.86、0.92、0.89和0.23，视频级准确率为0.80，表明该方法在群养条件下具有较强检测性能和稳定性。此外，在夜间低照度条件下，模型平均mAP、precision、recall、F1 score和ER分别为0.96、0.92、0.89、0.90和0.19，视频级准确率为0.82，表明所提方法在夜间低照度条件下保持良好检测性能。尽管所提方法在群养环境中表现良好，仍有局限：数据来自同一BSL-2实验室两个受控猪栏，猪数较少且环境较稳定，对不同猪群、猪栏配置、饲养密度和商业养殖环境的泛化能力需进一步评估；400个咳嗽事件片段按事件层面随机划分且仅按白天/夜间分层，同一猪、猪栏、记录日或原始视频片段可能同时进入训练集和验证集，可能使泛化估计偏乐观，未来将采用动物层面或时间分块划分及独立验证队列；咳嗽事件注释由单一注释者生成，未来将采用多名注释者独立标注并评估一致性。另一局限是识别实验在人工确认咳嗽片段上进行，报告指标不代表未过滤长时记录上的端到端性能，未来将在连续记录上以真实事件召回率、每小时误报和归因准确率评估完整流程；多猪同时咳嗽时声学事件时间重叠可能降低个体定位准确性，未来将探索更有效时序建模策略；血清学和病理学测量主要用于确认Mhp感染状态，未与模型输出定量关联，未来将结合纵向个体追踪、每日咳嗽次数、对照猪连续记录误报率及咳嗽负担、血清学反应和肺病变严重程度关系；候选猪仅在峰值帧检测且事件片段内使用固定边界框而无跟踪，漏检或片段内位移可能影响识别，未来将量化片段内位移并引入动态目标跟踪；方法依赖三个顺序模块，当前端到端延迟主要受咳嗽事件检测模块支配，候选级视觉编码计算成本随猪数增加，未来将探索共享视觉主干与ROI pooling或ROIAlign并优化计算流程以提高实时性和可扩展性。
