12 search results for "SDXL 1.0"

稳定扩散 XL（SDXL） 是 Stability AI 最新的潜在扩散模型，用于生成高质量、逼真的图像。它解决了以前稳定扩散模型的一些挑战，例如处理手部和文本的正确性以及空间上正确的构图。此外，SDXL 还更具上下文意识，并且在生成更好的图像时需要较少的提示词。 然而，所有这些改进都以模型更大的代价为代价。有多大呢？基本的 SDXL 模型有 35 亿个参数（特别是 UNet），比以前的稳定扩散模型大约大了 3 倍。 为了探索如何优化 SDXL 的推理速度和内存使用，我们在 A100 GPU（40 GB）上进行了一些测试。对于每次推理运行，我们会生成 4 张图像，并重复 3 次。在计算推理延迟时，我们只考虑…

T2I-Adapter 是一种高效的即插即用模型，它在冻结原始大型文本到图像模型的同时，为其提供额外的指导。T2I-Adapter 通过将 T2I 模型内部知识与外部控制信号进行对齐，可以根据不同条件训练各种适配器，并实现丰富的控制和编辑效果。 作为一项同时进行的工作，ControlNet 具有类似的功能并广泛使用。然而，运行 ControlNet 可能会导致计算开销大。这是因为，在反向扩散过程的每个去噪步骤中，需要同时运行 ControlNet 和 UNet。此外，ControlNet 强调将 UNet 编码器复制为控制模型的重要性，导致参数数量更多。因此，生成过程受到 ControlNet 的大小（越大，过程越慢）的限制。 T2I-Adapters 在这方面为 ControlNets 提供了竞争优势。T2I-Adapters 尺寸较小，并且与 ControlNets 不同，T2I-Adapters 只需在整个去噪过程中运行一次。…

生成AI模型，例如Stable Diffusion XL（SDXL），可以创建具有广泛应用的高质量、逼真的内容。然而，利用这种模型的威力面临着重大的挑战和计算成本。SDXL是一个大型图像生成模型，其UNet组件比模型的先前版本的大约三倍。将这样的模型部署到生产环境中具有挑战性，因为它增加了内存需求，并增加了推理时间。今天，我们非常高兴地宣布，Hugging Face Diffusers现在支持使用JAX在Cloud TPUs上提供SDXL，实现高性能和高效的推理。 Google Cloud TPUs是定制的AI加速器，经过优化，用于训练和推理大型AI模型，包括最先进的语言模型和生成AI模型，例如SDXL。新的Cloud TPU v5e专为大规模AI训练和推理提供所需的成本效益和性能。TPU v5e的成本不到TPU v4的一半，使更多组织能够训练和部署AI模型成为可能。 🧨 Diffusers JAX集成提供了一种方便的方式，通过XLA在TPU上运行SDXL，我们构建了一个演示来展示它。您可以在这个空间或下面的嵌入式平台上尝试它。 在底层，这个演示在几个TPU v5e-4实例上运行(每个实例有4个TPU芯片)，利用并行化在大约4秒内提供四个1024×1024大小的大图像。这个时间包括格式转换、通讯时间和前端处理；实际生成时间约为2.3秒，我们后面会看到的! 在这篇博文中， 我们描述了为什么JAX + TPU + Diffusers是运行SDXL的强大框架 解释了如何使用Diffusers和JAX编写一个简单的图像生成流水线…

我们最近宣布了我们的新产品PROs的推论，使更大的模型对更广泛的用户群体可用。这个机会为使用Hugging Face作为平台运行最终用户应用程序开启了新的可能性。 这样一个应用程序的示例是AI漫画工厂 – 一个极其受欢迎的空间。成千上万的用户尝试使用它创建自己的AI漫画画布，从而形成了自己的常用用户社区。他们分享自己的作品，甚至有些人还打开了拉取请求。 在本教程中，我们将向您展示如何fork和配置AI漫画工厂以避免长时间等待，并使用推理API部署到您自己的私有空间。这不需要强大的技术技能，但建议了解API、环境变量以及LLMs和Stable Diffusion的基本理解。 入门 首先，确保您注册了PRO Hugging Face账户，因为这将使您能够访问Llama-2和SDXL模型。 AI漫画工厂的工作原理 AI漫画工厂与在Hugging Face上运行的其他空间有所不同：它是一个使用Docker部署的NextJS应用程序，基于客户端-服务器方法，需要两个API才能工作： 语言模型API（目前为Llama-2） 稳定扩散API（目前为SDXL 1.0） 复制空间 要复制AI漫画工厂，请转到该空间并单击“复制”： 您会发现空间所有者、名称和可见性已经为您填好，所以您可以保留这些值。 您的空间副本将在一个不需要太多资源的Docker容器中运行，因此您可以使用最小的实例。官方的AI漫画工厂空间使用较大的CPU实例，因为它满足了一个庞大的用户群体。 要在您的帐户下操作AI漫画工厂，您需要配置您的Hugging Face令牌： 选择LLM和SD引擎 AI漫画工厂支持各种后端引擎，可以使用两个环境变量进行配置：…

我们已经成功地将基于扩散模型的 LoRA Hub 推断速度大大提高。这使得我们能够节省计算资源并提供更好的用户体验。 要对给定的模型进行推断，有两个步骤： 预热阶段 – 包括下载模型和设置服务（25秒）。 推断作业本身（10秒）。 通过这些改进，我们能够将预热时间从25秒减少到3秒。我们能够为数百个不同的 LoRA 提供推断服务，只需要不到 5 个 A10G GPU，同时用户请求的响应时间从 35 秒减少到 13 秒。 让我们更详细地讨论如何利用在 Diffusers 库中开发的一些最新功能，以一种动态方式使用单一服务为许多不同的 LoRA 提供服务。…

昨天发布了稳定扩散 XL，它非常棒。它可以生成大尺寸（1024×1024）的高质量图像；通过一些新的技巧改进了对提示的遵循性；由于最新的噪声调度器研究，它可以轻松产生非常暗或非常明亮的图像；而且它是开源的！ 不足之处是，该模型更大，因此在消费者硬件上运行速度更慢，更困难。使用最新版本的 Hugging Face 扩散器库，您可以在 16 GB 的 GPU 内存上的 CUDA 硬件上运行稳定扩散 XL，从而可以在 Colab 的免费版本上使用它。 过去几个月表明，人们对于出于各种原因在本地运行 ML 模型非常感兴趣，包括隐私、便利性、更容易的实验或不受计量的使用。我们在 Apple 和 Hugging Face 都在努力探索这个领域。我们已经展示了如何在 Apple…