利用自编码器对视觉记忆性进行建模，可揭示易被记住的图像的特征

《Scientific Reports》：Modeling visual memorability assessment with autoencoders reveals characteristics of memorable images

　　

摘要

图像可记性指的是某些图像比其他图像更容易被记住的现象。这是一种可量化且固有的图像属性，指的是图像在仅被观看一次后仍能被记住的可能性。尽管对人类视觉感知和记忆的理解已有所进展，但究竟是哪些特征决定了图像的可记性仍不清楚。为了解决这一问题，我们提出了一种基于深度学习的计算建模方法。我们采用了基于卷积神经网络（CNN）的自编码器方法。我们研究了自编码器重构误差与可记性之间的关系，分析了潜在空间表示的独特性，并在编码器的潜在表示上训练多层感知器（MLP）以预测可记性。此外，我们还使用集成梯度（IG）方法进行可解释性分析，以可视化在可记性预测模型中起最重要作用的关键视觉特征。我们的研究结果表明，图像的可记性得分与自编码器的重构误差之间存在显著相关性，同时其潜在表示也具有很强的预测能力。潜在空间的独特性与可记性也存在显著关联。此外，我们的模型还识别出某些视觉特征是影响图像可记性预测的重要因素。这些发现表明，基于自编码器的表示方式与图像可记性密切相关，为可记性的计算建模提供了新的见解。