用于增强生物医学和生物声学信号分析中时间建模的并行延迟存储单元

《Artificial Life》：Parallel Delayed Memory Units for Enhanced Temporal Modeling in Biomedical and Bioacoustic Signal Analysis

针对音频和生物医学信号分析中传统RNN架构的参数冗余与建模不足问题，提出并行延迟记忆单元（PDMU）架构。该设计通过延迟门控机制增强短时状态交互，结合Legendre记忆单元实现时序信息的向量压缩，形成因果注意力机制。在低数据场景下，门控机制可等效跳过连接以保留早期状态表征，提升长期记忆保持能力。实验表明PDMU模块在音频识别和脑电信号分类任务中显著提升模型性能与内存效率，并支持并行训练与双向推理扩展。

　　

摘要：

先进的深度学习架构，尤其是循环神经网络（RNN），已被广泛应用于音频、生物声学和生物医学信号分析领域，尤其是在数据稀缺的环境中。虽然门控RNN仍然有效，但在某些情况下它们可能会过度参数化，并且训练效率较低[1]、[2]；而线性RNN在捕捉生物信号中的复杂性方面往往表现不佳。为了解决这些挑战，我们提出了并行延迟记忆单元（PDMU），这是一种用于短期时间信用分配的延迟门控状态空间模块，专门针对音频和生物声学信号设计。该模块通过门控延迟线机制增强了短期时间状态之间的相互作用和记忆效率。与之前将时间动态嵌入到延迟线架构中的延迟记忆单元（DMU）不同，PDMU还使用勒让德记忆单元（LMU）将时间信息进一步压缩为向量表示。这种设计类似于一种因果注意力机制，使模型能够动态调整其对过去状态的依赖性，从而提高实时学习性能。值得注意的是，在信息量较低的情况下，门控机制的行为类似于跳跃连接，它可以绕过状态衰减并保留早期表示，从而有助于长期记忆的保持。PDMU是模块化的，支持并行训练和顺序推理，并且可以轻松集成到现有的线性RNN框架中。此外，我们还引入了双向、高效和脉冲型的PDMU变体，每种变体都在性能或能效方面带来了额外的提升。在多种音频和生物医学基准测试中的实验结果表明，PDMU显著提高了模型的记忆容量和整体性能。