基于余弦变换注意力机制与优化后的海象优化算法的上下文感知图像标题生成技术

《Scientific Reports》：Context-aware image captioning using cosine transformer attention and optimal vision transformer with improved walrus optimization algorithm

　　

摘要

自动图像标题生成旨在通过为输入图像生成描述性标题，从而理解视觉信息与语言认知领域之间的关联。但这一过程会受到图像特征与文本之间语义距离的影响，同时在建模精细的对象交互和上下文方面也存在难题。我们提出了一种新的编码器-解码器架构，该架构利用最优的视觉变换器，并通过余弦距离为变换器添加注意力机制，以此获得更好的映射效果并丰富上下文信息。该架构借助Inception-V3获取精细的视觉特征，同时利用跳字模型提取文本的语义特征。另一种名为改进型海象优化算法则能够动态调整关键超参数，从而提升模型的收敛速度与性能。在MS-COCO和Flickr8k数据集上的实验表明，该方法的BLEU-4得分分别为0.8864和0.8920，优于以往的方法，同时在ROUGE、METEOR和CIDEr指标上的表现也更为出色。总体而言，该方法生成的标题具有更丰富的上下文细节、更自然的语言表达以及更高的语义准确性。得益于其余弦注意力机制和自适应调优功能，该方法在实际应用中表现优异。