T2I-Adapter是即插即用的工具，可以增强文本到图像模型，而无需进行完整的重新训练，使其比ControlNet等其他替代方案更高效。它们将内部知识与外部信号对齐，实现精确的图像编辑。与要求大量计算资源并减慢图像生成速度的ControlNet不同，T2I-Adapter仅在去噪过程中运行一次，提供更快更高效的解决方案。
模型参数和存储需求清楚地展示了这一优势。例如，ControlNet-SDXL拥有1251亿个参数和2.5 GB的fp16格式存储空间。相比之下，T2I-Adapter-SDXL将参数（7900万）和存储空间（158 MB）大幅减少，分别减少了93.69%和94%。
Diffusers团队与T2I-Adapter研究人员的最新合作为Stable Diffusion XL（SDXL）引入了对T2I-Adapter的支持。这次合作主要集中在从头开始训练SDXL上的T2I-Adapter，并在包括素描、边缘检测、线稿、深度和openpose在内的各种条件因素下取得了令人满意的结果。
训练T2I-Adapter-SDXL使用了来自LAION-Aesthetics V2的300万个高分辨率图像-文本对，训练设置规定了20000-35000步、批量大小为128（数据并行，单个GPU批量大小为16）、常量学习率为1e-5以及混合精度（fp16）。这些设置在速度、内存效率和图像质量之间取得了平衡，使其适用于社区使用。
在Diffusers框架中使用T2I-Adapter-SDXL非常简单，只需按照一系列步骤安装所需的依赖包，包括diffusers、controlnet_aux、transformers和accelerate。随后，使用T2I-Adapter-SDXL进行图像生成主要包括两个步骤：以适当的控制格式准备条件图像，并将这些图像和提示传递给StableDiffusionXLAdapterPipeline。
在实际示例中，加载Lineart Adapter，并对输入图像进行线稿检测。随后，使用定义的提示和参数启动图像生成，允许用户通过”adapter_conditioning_scale”和”adapter_conditioning_factor”等参数来控制应用的条件程度。
总之，T2I-Adapter为ControlNet提供了引人注目的替代方案，解决了微调预训练文本到图像模型的计算挑战。它们体积小、操作高效、易于集成，是在各种条件下自定义和控制图像生成的有价值工具，为人工智能的创造力和创新提供了支持。