编辑推荐：
在猪养殖向集约化迈进的当下，传统猪病诊断方式弊端凸显，现有计算机辅助诊断（CAD）系统也存在不足。研究人员构建猪病多模态电子健康记录（EHR）数据集，开展 TGFN-SD 模型研究。结果显示该模型诊断准确率达 94.48% ，为猪病 CAD 研究提供新思路。
在猪养殖行业，中国作为世界最大的生猪生产国，2023 年猪产量高达 726.62 亿头，猪肉产量 5790 万吨，占据全球近一半的份额。随着养殖规模不断扩大，猪病的及时诊断和治疗变得愈发关键。然而，传统的人工诊断方式存在诸多问题，不仅耗费大量人力，效率低下，还容易引发交叉感染，诊断的准确性也常常受到主观因素的影响，给养殖户带来巨大的经济损失。与此同时，现有的计算机辅助诊断（CAD）系统大多基于专家系统，知识的收集和维护困难重重，且大多忽视了多模态信息的作用，难以广泛应用。在这样的背景下，开展高效准确的猪病智能辅助诊断研究迫在眉睫。
为了解决这些问题，相关研究人员构建了一个涵盖六种常见猪病的多模态电子健康记录（EHR）数据集，并提出了一种名为 Text-Guided Fusion Network-Swine Diagnosis（TGFN-SD）的多模态融合模型。该研究成果发表在《Artificial Intelligence in Agriculture》上，为猪病诊断领域带来了新的突破。
研究人员在这项研究中运用了多种关键技术方法。首先，构建了包含文本病例报告和疾病图像的猪病 EHR 数据集（SDT6K），其中文本病例报告分为实际病例和人工病例，疾病图像则选用了易于获取的相机图像。为增强模型性能，对数据进行了增强处理。模型方面，利用 BERT 预训练模型和 ViT-B-16 分别对文本和图像进行特征提取，通过 LTCL 网络学习文本特征，TGT 模块融合文本和视觉信息，还引入了对比学习和多任务学习框架优化模型。
在研究结果部分：
- 超参数实验：通过调整多层感知机投影维度、TGT 模块注意力头数和层数等参数，发现当 MLP_dim = 100，head = 4，layer = 2 时，模型达到最优准确率 94.8%。
- 分类性能：随着训练样本数量增加，模型准确率逐渐稳定，在训练样本数据量达到 95%（4800）时，准确率稳定在 94%。TGFN-SD 对六种疾病分类性能出色，平均分类准确率 94.32% ，召回率 94.54% ，F1 值 94.4% ，但伪狂犬病和猪链球菌病的 F1 分数略低，这与疾病本身的诊断难度有关。
- 消融实验：去除 TGFN-SD 模型的任何组件都会导致猪病诊断性能下降，其中去除 TGT 模块所有组件对模型性能影响最大，表明各组件在模型中都至关重要。
- 基线模型性能比较：与经典多模态融合模型和单模态基线模型相比，TGFN-SD 在猪病诊断中表现最佳，准确率达 94.48% ，F1 分数 94.4% ，且推理时间为 0.98s，在计算效率和模型性能间达到较好平衡。
- t-SNE 可视化：利用 t-SNE 对模型最后隐藏层向量进行可视化，结果显示随着训练迭代增加，模型能很好地区分六种疾病，这得益于多任务学习模式。
- 可解释性分析：使用 Gradient-weighted class activation mapping（Grad-CAM）对模型进行可视化分析，发现模型关注的数据与人类兽医决策习惯一致，验证了模型的有效性，但实际测试效果仍有待进一步验证。
在研究结论与讨论部分，TGFN-SD 模型在六种猪病的分类诊断中表现出色，平均 F1 分数和准确率分别达到 94.4% 和 94.48%。TGT 模块、LTCL 网络和对比学习在模型诊断效果中发挥了重要作用，多任务学习框架有效学习了疾病多模态 EHR 数据中的复杂模式。与单模态数据相比，多模态数据在猪病诊断中具有明显优势，为猪病及其他动物疾病诊断提供了新的思路和视角。不过，该研究也存在一定局限性，图像模态的高变异性以及仅探索了两种模态等问题，需要在未来研究中进一步解决。未来需与兽医团队或养殖公司合作，获取更多猪 EHR 数据，更好地整合疾病相关多模态数据，优化诊断模型，实现更高效、准确、稳健的猪病诊断。
