稳定扩散 Web 用户界面，简称 SD-WebUI，是一个全面的稳定扩散模型项目，利用 Gradio 库提供浏览器界面。今天，我们将谈论 EasyPhoto，一款创新的 WebUI 插件，使最终用户能够生成 AI 肖像和图像。EasyPhoto WebUI 插件使用各种模板创建 AI 肖像，支持不同的照片风格和多个修改。此外，为了进一步提高 EasyPhoto 的功能，用户可以使用 SDXL 模型生成图像，以获得更满意、准确和多样化的结果。让我们开始吧。
EasyPhoto 和稳定扩散简介
稳定扩散框架是一种流行且强大的基于扩散的生成框架，开发人员可以基于输入文本描述生成逼真的图像。得益于其能力，稳定扩散框架在图像扩展、图像修补和图像转换等方面具有广泛的应用。稳定扩散 Web 用户界面（SD-WebUI）作为该框架最受欢迎和知名的应用之一而脱颖而出。它基于 Gradio 库构建了一个浏览器界面，为稳定扩散模型提供了交互式和用户友好的界面。为了进一步增强图像生成的控制性和易用性，SD-WebUI 集成了许多稳定扩散应用。
由于 SD-WebUI 框架提供的便利性，EasyPhoto 框架的开发人员决定将其创建为 Web 插件，而不是一个完整的应用程序。与现有的方法相比，这些方法常常存在身份丢失或在图像中引入不真实的特征等问题，EasyPhoto 框架利用稳定扩散模型的图像到图像能力，产生准确而逼真的图像。用户可以轻松将 EasyPhoto 框架作为 WebUI 的扩展安装，提高了用户友好性和对更广泛用户群体的可访问性。EasyPhoto 框架允许用户生成与输入身份密切相似的身份引导、高质量和逼真的 AI 肖像。
首先，EasyPhoto 框架要求用户通过上传几张图像来创建他们的数字化替身，以便在线训练面部 LoRA 或低秩自适应模型。LoRA 框架利用低秩自适应技术快速微调扩散模型。这个过程使基于模型能够理解特定用户的 ID 信息。然后将训练好的模型合并并集成到基准稳定扩散模型中进行干扰。此外，在干扰过程中，模型使用稳定扩散模型来重新绘制干扰模板中的面部区域，并使用各种 ControlNet 单元来验证输入图像和输出图像之间的相似度。
EasyPhoto 框架还采用了两阶段扩散过程，以解决边界伪影和身份丢失等潜在问题，确保所生成的图像在保持用户身份的同时最小化视觉不一致。此外，EasyPhoto 框架中的干扰流水线不仅限于生成肖像，还可以用于生成与用户 ID 相关的任何内容。这意味着一旦为特定 ID 训练了LoRA 模型，就可以生成各种 AI 图片，因此它可以具有广泛的应用，包括虚拟试穿。
总结一下，EasyPhoto 框架：
- 提出了一种通过整合多个 LoRA 模型来训练 LoRA 模型的新方法，以保持生成图像的面部保真度。
- 利用各种强化学习方法优化 LoRA 模型以获得面部身份奖励，进一步增强了训练图像和生成结果之间的身份相似性。
- 提出了双阶段基于修补的扩散过程，旨在生成具有高审美价值和相似性的 AI 照片。
EasyPhoto：架构与训练
下图展示了 EasyPhoto AI 框架的训练过程。
可以看到，该框架首先要求用户输入训练图像，然后进行人脸检测以检测人脸位置。一旦框架检测到人脸，它会使用预定义的特定比例剪裁输入图像，仅关注面部区域。然后，该框架使用皮肤美化和显著性检测模型获取清晰的面部训练图像。这两个模型在提高面部的视觉质量方面起着关键作用，还确保移除了背景信息，训练图像主要包含面部。最后，该框架使用这些处理过的图像和输入提示来训练 LoRA 模型，从而使其能够更有效地和准确地理解用户特定的面部特征。
此外，训练阶段中，该框架包括一个关键的验证步骤，在此步骤中，框架计算用户输入图像与训练的LoRA模型生成的验证图像之间的面部ID差距。验证步骤是一个基本过程，对于实现LoRA模型的融合起着关键作用，最终确保训练后的LoRA框架变成一个与用户准确相似的数字化表示，或者说成为一个替身。此外，具有最佳face_id得分的验证图像将被选为face_id图像，然后将使用此face_id图像来增强干扰生成的身份相似性。
接下来，基于集成过程，该框架通过最大似然估计来训练LoRA模型，并将面部身份相似性保持为下游目标。为了解决这个问题，EasyPhoto框架利用强化学习技术直接优化下游目标。结果，LoRA模型学习到的面部特征显示出改进，从而提高了模板生成结果之间的相似度，并展示了模板之间的泛化能力。
干扰过程
以下图示了EasyPhoto框架中个人用户ID的干扰过程，分为三个部分
- 面部预处理 用于获取ControlNet参考和预处理的输入图像。
- 第一次扩散 有助于生成类似用户输入的粗略结果。
- 第二次扩散 修复边界伪影，使图像更准确、更真实。
对于输入，该框架使用面部ID图像（在训练验证过程中使用最佳face_id得分生成），以及干扰模板。输出是用户的高度详细、准确且逼真的肖像，与干扰模板的身份和独特外观紧密相似。让我们详细看看这些过程。
面部预处理
使用SD模型填补干扰模板中的面部区域，生成基于干扰模板的AI肖像而没有意识推理的方法。此外，将ControlNet框架添加到过程中不仅增强了用户身份的保留，还增强了生成的图像之间的相似性。然而，直接在区域填补中使用ControlNet可能会引入一些潜在问题，包括
- 输入和生成图像之间的不一致：显然，模板图像中的关键点与face_id图像中的关键点不兼容，因此使用face_id图像作为参考使用ControlNet可能导致输出中的一些不一致。
- 填补区域的缺陷：对区域进行遮罩，然后用新面孔进行填补，可能会导致明显的缺陷，特别是沿填补边界，这不仅会影响生成图像的真实性，而且会对图像的逼真度产生负面影响。
- ControlNet对身份的丧失：由于训练过程不使用ControlNet框架，在干扰阶段使用ControlNet可能会影响训练的LoRA模型保留输入用户ID身份的能力。
为了解决上述问题，EasyPhoto框架提出了三个步骤。
- 对齐和粘贴：通过使用面部粘贴算法，EasyPhoto框架旨在解决面部标记之间的不匹配问题，即面部ID和模板之间的面部标记不匹配。首先，模型计算面部ID和模板图像的面部标记，然后确定将用于将模板图像的面部标记与面部ID图像对齐的仿射变换矩阵。生成的图像保留面部ID图像的相同标记，并与模板图像对齐。
- 脸部融合：面部融合是一种使用ControlNet框架纠正由遮罩填补导致的边界伪影的新方法，它涉及使用ControlNet框架对伪影进行校正。该方法使EasyPhoto框架能够确保保留和谐边缘，从而最终引导图像生成的过程。脸部融合算法进一步融合了roop（真实用户图像）图像和模板，使融合后的图像能够更好地稳定边界，从而在第一次扩散阶段产生更好的输出。
- ControlNet引导验证：由于LoRA模型在训练过程中没有使用ControlNet框架，因此在推理过程中使用ControlNet可能会影响LoRA模型保留身份的能力。为了增强EasyPhoto的泛化能力，该框架考虑了ControlNet框架的影响，并结合了不同阶段的LoRA模型。
首次扩散
首次扩散阶段利用模板图像生成一个具有唯一ID的图像，该图像与输入用户ID相似。输入图像是用户输入图像和模板图像的融合，校准的面部掩模作为输入掩模。为了进一步增加图像生成的控制力，EasyPhoto框架集成了三个ControlNet单元。第一个ControlNet单元用于控制融合图像，第二个ControlNet单元用于控制融合图像的颜色，最后一个ControlNet单元是替换图像的openpose（实时多人姿势控制），它不仅包含模板图像的面部结构，还包含用户的面部身份。
第二次扩散
在第二次扩散阶段，对面部边界附近的伪影进行了细化和微调，并且提供了用户在图像中掩蔽特定区域的灵活性，以增强在该专用区域内的生成效果。在这个阶段，框架将第一次扩散阶段得到的输出图像与roop图像或用户图像的结果融合，从而生成第二次扩散阶段的输入图像。总体而言，第二次扩散阶段在增强生成图像的整体质量和细节方面起着至关重要的作用。
多用户ID
EasyPhoto的一个亮点之一是其支持生成多个用户ID，下图演示了EasyPhoto框架中多用户ID的干扰过程的流程。
为了支持多用户ID生成，EasyPhoto框架首先对干扰模板进行人脸检测。然后将这些干扰模板分割成多个掩模，每个掩模只包含一个面部，图像的其余部分被掩蔽为白色，从而将多用户ID生成分解为生成个别用户ID的简单任务。一旦框架生成用户ID图像，这些图像将被合并到干扰模板中，从而实现模板图像与生成图像的无缝集成，最终生成高质量图像。
实验证明和结果
现在我们对EasyPhoto框架的性能进行探索。
上面的图片是由EasyPhoto插件生成的，它使用基于风格的SD模型进行图像生成。可观察到，生成的图像看起来逼真且相当准确。
上面添加的图像是由EasyPhoto框架使用基于漫画风格的SD模型生成的。可以看到，漫画照片和逼真照片看起来相当真实，并根据用户提示或要求紧密地与输入图像相似。
下面添加的图像是由EasyPhoto框架使用多人员模板生成的。可以清楚地看到，生成的图像清晰、准确，并且与原始图像相似。
借助EasyPhoto，用户现在可以生成各种AI肖像，或使用保存的模板生成多个用户ID，或使用SD模型生成干扰模板。上面添加的图像展示了EasyPhoto框架在生成多样化高质量AI图片方面的能力。
结论
在本文中，我们讨论了EasyPhoto，一个新型的WebUI插件**，允许最终用户生成AI肖像和图像。EasyPhoto WebUI插件使用任意模板生成AI肖像，EasyPhoto WebUI的当前影响支持不同的照片风格和多个修改。此外，为了进一步增强EasyPhoto的功能，用户可以使用SDXL模型生成更令人满意、准确和多样化的图像。EasyPhoto框架利用稳定的扩散基准模型和预训练的LoRA模型产生高质量的图像输出。**
对图像生成器感兴趣吗？我们还提供了一份最佳人工智能头像生成器和最佳人工智能图像生成器的清单，其易于使用且无需技术专长。