10 search results for "CARTO"

本指南介绍了Salesforce Research的BLIP-2，它可以在🤗 Transformers中使用一套最先进的视觉语言模型。我们将向您展示如何在图像字幕、提示图像字幕、视觉问答和基于聊天的提示中使用它。 目录 介绍 BLIP-2的内部结构是什么？ 如何在Hugging Face Transformers中使用BLIP-2 图像字幕 提示图像字幕 视觉问答 基于聊天的提示 结论 致谢 介绍 近年来，计算机视觉和自然语言处理取得了快速发展。然而，许多现实世界的问题本质上是多模态的-它们涉及到多个不同形式的数据，如图像和文本。视觉语言模型面临的挑战是如何结合这些模态，以打开各种应用的大门。视觉语言模型可以处理的一些图像到文本的任务包括图像字幕、图像文本检索和视觉问答。图像字幕可以帮助视觉障碍者、创建有用的产品描述、识别超越文本的不适当内容等。图像文本检索可以应用于多模态搜索，以及自动驾驶等应用中。视觉问答可以在教育中发挥作用，实现多模态的聊天机器人，并在各种领域特定的信息检索应用中提供帮助。 现代计算机视觉和自然语言模型变得更加强大，但与之前的模型相比也显著增大了体积。虽然预训练单模态模型需要消耗大量资源且昂贵，但端到端视觉和语言预训练的成本变得越来越高。BLIP-2通过引入一种新的视觉语言预训练范式来解决这一挑战，该范式可以潜在地利用任何预训练的视觉编码器和LLM的组合，而无需对整个架构进行端到端的预训练。这在显著减少可训练参数和预训练成本的同时，实现了多个视觉语言任务的最先进结果。此外，这种方法为多模态ChatGPT模型铺平了道路。 BLIP-2的内部结构是什么？ BLIP-2通过在现有的冻结预训练图像编码器和冻结大型语言模型之间添加了一个轻量级的查询变换器（Q-Former），来弥合视觉和语言模型之间的模态差距。Q-Former是BLIP-2中唯一可训练的部分，图像编码器和语言模型都保持冻结状态。 Q-Former是一个由两个子模块组成的变换器模型，它们共享相同的自注意力层： 一个图像变换器，与冻结的图像编码器进行交互以进行视觉特征提取 一个文本变换器，可以作为文本编码器和文本解码器 图像变换器从图像编码器中提取固定数量的输出特征，与输入图像分辨率无关，并接收可学习的查询嵌入作为输入。查询还可以通过相同的自注意力层与文本进行交互。 Q-Former在两个阶段进行预训练。在第一阶段中，图像编码器被冻结，Q-Former通过三个损失进行训练：…

本文探讨了指令调优，以教会Stable Diffusion跟随指令来翻译或处理输入图像。通过这种方法，我们可以使用输入图像和“指令”来提示Stable Diffusion，例如- 对自然图像应用卡通滤镜。 教会Stable Diffusion遵循用户指令在输入图像上执行编辑的想法是在《InstructPix2Pix: 学习遵循图像编辑指令》中引入的。我们讨论了如何扩展InstructPix2Pix的训练策略，以遵循与图像翻译任务（如卡通化）和低级图像处理任务（如图像去雨）相关的更具体的指令。我们涵盖了以下内容： 指令调优简介 背后的动机 数据集准备 训练实验和结果 潜在的应用和限制 待解决的问题 我们的代码、预训练模型和数据集可以在这里找到。 介绍和动机 指令调优是一种通过监督的方式教导语言模型遵循指令来解决任务的方法。它是由Google在《Fine-tuned Language Models Are Zero-Shot Learners (FLAN)》中介绍的。从最近的时候开始，您可能还记得像Alpaca和FLAN V2这样的作品，它们是指令调优对各种任务有益的很好的示例。 下图展示了指令调优的一个公式化（也称为“指令微调”）。在FLAN V2论文中，作者采用一个预训练的语言模型（例如T5）并在一个示例数据集上进行微调，如下图所示。…