基于视觉的电商视频与内容理解：一项关于唇读与视觉语音识别以提升购物体验的全面研究

《Scientific Reports》：E-commerce video & content understanding via vision: a comprehensive study on lip reading and visual speech recognition for enhanced shopping experience

　　

摘要

目前，直播电商的年度在线零售销售额已超过5000亿美元。然而，大量观众在观看直播时关闭声音，这降低了观众的参与度，进而降低了购买转化率。在这项研究中，我们通过唇读和视觉语音识别技术来实现基于视觉的内容理解，从而自动生成字幕，提升直播的清晰度。我们提出了LiveVSR-Net，这是一种结合了3D卷积神经网络、基于Transformer的时间建模以及混合CTC-注意力解码机制的全新架构。此外，该模型还采用了针对电商领域的特殊处理方法，包括扩展特定词汇表、微调语言模型以及多说话人处理技术。我们通过全面的消融实验来量化各架构组件的作用，还在标准测试集（LRS2、LRS3、GRID）上进行了评估，并分析了其在实际应用中的稳定性，同时提供了适用于直播场景的部署指南。在三个标准的视觉语音识别测试集中，LiveVSR-Net框架均取得了优异的性能：在LRS2上的WER值为23.5%，在LRS3上为25.1%，在GRID上则为0.9%。通过整合3D卷积视觉编码器、基于Conformer的时间建模、混合CTC-注意力解码机制以及针对特定领域优化的语言模型，该方法实现了实时识别功能，非常适合在实际环境中应用。