多模态机器翻译的双分支提示方法

《ACM Transactions on Multimedia Computing, Communications, and Applications》：Dual-branch Prompting for Multimodal Machine Translation

　　

摘要AI总结

要查看此由AI生成的总结，您需要拥有高级访问权限。

了解更多登录

摘要

摘要

多模态机器翻译通常通过整合对齐的视觉特征来提升纯文本翻译的质量。尽管取得了显著进展，但现有的最先进多模态机器翻译方法在推理时往往依赖成对的图像-文本输入，且容易受到无关视觉噪声的影响，这限制了它们的稳健性和实际应用能力。为了解决这些问题，我们提出了D${}^2$P-MMT，这是一种基于扩散模型的双分支引导框架，可用于实现更可靠的视觉引导翻译。具体而言，D${}^2$P-MMT仅需源文本以及由预训练的扩散模型生成的重建图像，该模型能够自动过滤掉干扰性的视觉细节，同时保留语义信息。在训练过程中，该模型通过双分支引导策略，同时从真实图像和重建图像中学习，从而促进丰富的跨模态交互。为弥合不同模态之间的差距并减少训练与推理时的差异，我们引入了分布对齐损失函数，以确保两个分支的输出分布保持一致。在Multi30K数据集上的大量实验表明，D${}^2$P-MMT在翻译性能上优于现有的最先进方法。我们的代码可在https://github.com/MentaY/DDP上获取。

AI总结

AI生成的总结（实验性内容）

此总结是通过自动化工具生成的，未经文章作者的撰写或审核。它旨在帮助读者发现相关内容、评估文章的相关性，以及帮助来自相关研究领域的读者理解本文内容。它是对作者提供的摘要的补充，而作者提供的摘要仍是文章的主要总结。完整文章才是最具权威性的版本。点击此处了解更多。

点击此处，可以对该总结的准确性、清晰度及实用性发表意见。您的反馈将有助于改进未来的总结版本。

要查看此由AI生成的通俗语言总结，您需要拥有高级访问权限。