深度差分终身跨模态哈希技术在流式医疗数据检索中的应用

《ACM Transactions on Multimedia Computing, Communications, and Applications》：Deep Differential Lifelong Cross-modal Hashing for Stream Medical Data Retrieval

针对流医学多模态数据检索中的动态适应、非可微优化及语义不匹配问题，本文提出深度微分终身跨模态哈希方法。通过终身学习模块保持基础数据哈希不变，快速学习新类别哈希，缓解灾难性遗忘，减少训练时间和计算资源。微分哈希模块实现可微优化，提升检索精度；语义对齐模块嵌入模内和跨模态损失，维持语义相似性。实验表明，该方法在基准数据集上显著优于现有SOTA方法。

　　

摘要

随着流式医疗多模态数据的爆炸性增长，开发高效的跨模态检索算法以实现有效的医疗数据搜索变得至关重要。在这一领域，深度跨模态哈希技术取得了显著进展，该技术将跨模态数据映射到低维汉明空间中，在该空间中保留了高维空间中的相似性。然而，大多数深度跨模态哈希算法在适应动态流式医疗数据、优化过程不可微以及跨模态语义不对齐方面存在不足。为了解决这些问题，我们在本文提出了一种新颖的深度差分终身跨模态哈希方法，用于大规模流式医疗数据检索。具体而言，我们首先设计了终身学习模块，以保持基础数据的学习到的哈希码不变，并直接学习新增类别的增量数据的哈希码，从而实现流式医疗数据的连续检索，有效避免了灾难性遗忘现象，同时显著减少了训练时间和计算资源消耗。接着，我们引入了差分跨模态哈希模块，生成具有区分性的二进制哈希码，实现了连续且可微的优化过程，并提高了检索精度。此外，我们还设计了语义对齐模块，该模块嵌入了模内和模间损失项，以维持流式医疗数据在不同模态之间的语义相似性和差异性。在基准医疗数据集上的广泛实验表明，与现有的最先进方法相比，我们提出的方法能够有效检索动态流式医疗跨模态数据，并获得更高的检索性能。