4 search results for "Cloud TPU v5e"

生成AI模型，例如Stable Diffusion XL（SDXL），可以创建具有广泛应用的高质量、逼真的内容。然而，利用这种模型的威力面临着重大的挑战和计算成本。SDXL是一个大型图像生成模型，其UNet组件比模型的先前版本的大约三倍。将这样的模型部署到生产环境中具有挑战性，因为它增加了内存需求，并增加了推理时间。今天，我们非常高兴地宣布，Hugging Face Diffusers现在支持使用JAX在Cloud TPUs上提供SDXL，实现高性能和高效的推理。 Google Cloud TPUs是定制的AI加速器，经过优化，用于训练和推理大型AI模型，包括最先进的语言模型和生成AI模型，例如SDXL。新的Cloud TPU v5e专为大规模AI训练和推理提供所需的成本效益和性能。TPU v5e的成本不到TPU v4的一半，使更多组织能够训练和部署AI模型成为可能。 🧨 Diffusers JAX集成提供了一种方便的方式，通过XLA在TPU上运行SDXL，我们构建了一个演示来展示它。您可以在这个空间或下面的嵌入式平台上尝试它。 在底层，这个演示在几个TPU v5e-4实例上运行(每个实例有4个TPU芯片)，利用并行化在大约4秒内提供四个1024×1024大小的大图像。这个时间包括格式转换、通讯时间和前端处理；实际生成时间约为2.3秒，我们后面会看到的! 在这篇博文中， 我们描述了为什么JAX + TPU + Diffusers是运行SDXL的强大框架 解释了如何使用Diffusers和JAX编写一个简单的图像生成流水线…

稳定扩散 XL（SDXL） 是 Stability AI 最新的潜在扩散模型，用于生成高质量、逼真的图像。它解决了以前稳定扩散模型的一些挑战，例如处理手部和文本的正确性以及空间上正确的构图。此外，SDXL 还更具上下文意识，并且在生成更好的图像时需要较少的提示词。 然而，所有这些改进都以模型更大的代价为代价。有多大呢？基本的 SDXL 模型有 35 亿个参数（特别是 UNet），比以前的稳定扩散模型大约大了 3 倍。 为了探索如何优化 SDXL 的推理速度和内存使用，我们在 A100 GPU（40 GB）上进行了一些测试。对于每次推理运行，我们会生成 4 张图像，并重复 3 次。在计算推理延迟时，我们只考虑…