Press "Enter" to skip to content

使用推理API部署AI漫画工厂

我们最近宣布了我们的新产品PROs的推论,使更大的模型对更广泛的用户群体可用。这个机会为使用Hugging Face作为平台运行最终用户应用程序开启了新的可能性。

这样一个应用程序的示例是AI漫画工厂 – 一个极其受欢迎的空间。成千上万的用户尝试使用它创建自己的AI漫画画布,从而形成了自己的常用用户社区。他们分享自己的作品,甚至有些人还打开了拉取请求。

在本教程中,我们将向您展示如何fork和配置AI漫画工厂以避免长时间等待,并使用推理API部署到您自己的私有空间。这不需要强大的技术技能,但建议了解API、环境变量以及LLMs和Stable Diffusion的基本理解。

入门

首先,确保您注册了PRO Hugging Face账户,因为这将使您能够访问Llama-2和SDXL模型。

AI漫画工厂的工作原理

AI漫画工厂与在Hugging Face上运行的其他空间有所不同:它是一个使用Docker部署的NextJS应用程序,基于客户端-服务器方法,需要两个API才能工作:

  • 语言模型API(目前为Llama-2
  • 稳定扩散API(目前为SDXL 1.0

复制空间

要复制AI漫画工厂,请转到该空间并单击“复制”

duplicate-space-1.jpg

您会发现空间所有者、名称和可见性已经为您填好,所以您可以保留这些值。

您的空间副本将在一个不需要太多资源的Docker容器中运行,因此您可以使用最小的实例。官方的AI漫画工厂空间使用较大的CPU实例,因为它满足了一个庞大的用户群体。

要在您的帐户下操作AI漫画工厂,您需要配置您的Hugging Face令牌:

duplicate-space-2.jpg

选择LLM和SD引擎

AI漫画工厂支持各种后端引擎,可以使用两个环境变量进行配置:

  • LLM_ENGINE用于配置语言模型(可能的值为INFERENCE_APIINFERENCE_ENDPOINTOPENAI
  • RENDERING_ENGINE用于配置图像生成引擎(可能的值为INFERENCE_APIINFERENCE_ENDPOINTREPLICATEVIDEOCHAIN)。

我们将重点介绍如何在推理API上使AI漫画工厂工作,因此它们都需要设置为INFERENCE_API

duplicate-space-3.jpg

您可以在项目的README.env配置文件中找到有关其他引擎和供应商的更多信息。

配置模型

AI漫画工厂预配置了以下模型:

  • LLM_HF_INFERENCE_API_MODEL:默认值为meta-llama/Llama-2-70b-chat-hf
  • RENDERING_HF_RENDERING_INFERENCE_API_MODEL:默认值为stabilityai/stable-diffusion-xl-base-1.0

您的PRO Hugging Face帐户已经提供了对这些模型的访问权限,所以您不需要做任何操作或更改。

进一步

AI漫画工厂对推理API的支持处于早期阶段,目前还没有将一些功能(例如使用SDXL的精炼步骤或实现升scaling)迁移过来。

尽管如此,我们希望这些信息能帮助您开始分叉和调整AI漫画工厂以满足您的需求。

请随意尝试和实验社区中的其他模型,祝您愉快地进行编程!

Leave a Reply

Your email address will not be published. Required fields are marked *