在机器智能研究的最新发表论文中，一组研究人员深入探讨了视觉语言预训练（VLP）及其在多模态任务中的应用。该论文探讨了单模态训练的思想以及它与多模态适应性的不同之处。然后，该报告展示了VLP的五个重要领域：特征提取、模型架构、预训练目标、预训练数据集和下游任务。然后，研究人员回顾了现有的VLP模型以及它们如何在不同领域上进行适应和发展。
人工智能领域一直试图以与人类相同的方式对模型进行训练，让它们像人类一样感知、思考和理解模式和细微差别。各种尝试已经被做出来，以尽可能多地纳入数据输入领域，如视觉、音频或文本数据。但大多数这些方法都试图以单模态的方式解决“理解”的问题。
单模态方法是一种方法，在这种方法中，您只考虑一个方面来评估一种情况，例如在视频中，您只关注其音频或转录，而在多模态方法中，您尝试针对尽可能多的可用特征，并将它们纳入模型中。例如，在分析视频时，您会考虑音频、转录和说话者的面部表情，以真正“理解”上下文。
多模态方法本身具有挑战性，因为它需要大量的资源，并且需要大量的标记数据来训练能力强的模型。基于变压器结构的预训练模型通过利用自监督学习和附加任务从大规模无标记数据中学习通用表示来解决了这个问题。
以单模态方式预先训练模型，例如在NLP中的BERT，已经通过有限标记数据的微调表现出了显着的有效性。研究人员通过将相同的设计理念扩展到多模态领域来探索视觉语言预训练（VLP）的可行性。VLP使用预训练模型在大规模数据集上学习模态之间的语义对应关系。
研究人员回顾了VLP方法在五个主要领域中取得的进展。首先，他们讨论了VLP模型如何预处理和表示图像、视频和文本以获得相应的特征，并突出了使用的各种模型。其次，他们还探讨了单流和双流融合以及仅编码器与编码器-解码器设计的可用性和使用情况。
本文还更多地探讨了VLP模型的预训练，将其归类为完成、匹配和特定类型。这些目标很重要，因为它们有助于定义通用的视觉语言表示。研究人员还概述了预训练数据集的两个主要类别：图像语言模型和视频语言模型。该论文强调多模态方法如何帮助在理解上下文和生成更好映射内容方面实现更好的理解和准确性。最后，本文介绍了VLP中下游任务的目标和细节，强调它们在评估预先训练模型的有效性方面的重要性。
本文提供了SOTA VLP模型的详细概述。它列出了这些模型并强调了它们的主要特点和性能。提及和覆盖的模型是前沿技术发展的坚实基础，也可作为未来发展的基准。
根据研究论文，VLP架构的未来看起来很有前途和可靠性。他们提出了各种改进领域，例如整合声学信息、知识和认知学习、快速调整、模型压缩和加速以及域外预训练。这些改进领域旨在激发新时代的研究人员在VLP领域取得突破性进展。