介绍 自从GenAI LLMs发布以来，我们已经开始以各种方式使用它们。最常见的方式是通过像OpenAI网站这样的网站使用ChatGPT或通过OpenAI的GPT3.5 API、Google的PaLM API或其他网站（如Hugging Face、Perplexity.ai）使用大型语言模型的API进行交互。 在所有这些方法中，我们的数据被发送到我们的计算机之外。它们可能容易受到网络攻击（尽管所有这些网站都保证最高的安全性，但我们不知道会发生什么）。有时，我们希望在本地运行这些大型语言模型，如果可能的话，对它们进行本地调整。在本文中，我们将介绍如何设置LLMs以在Oobabooga上本地运行。 学习目标 了解在本地系统上部署大型语言模型的重要性和挑战。 学习在本地创建运行大型语言模型的设置。 探索可以在给定的CPU、RAM和GPU Vram规格下运行的模型。 学习从Hugging Face下载任何大型语言模型以在本地使用。 检查如何为大型语言模型分配GPU内存以运行。 本文是作为数据科学博文马拉松的一部分发表的。 什么是Oobabooga？ Oobabooga是一个用于大型语言模型的文本生成Web界面。Oobabooga是一个基于Gradio的Web UI。Gradio是一个被机器学习爱好者广泛使用的Python库，用于构建Web应用程序，Oobabooga就是使用这个库构建的。Oobabooga将所有在尝试在本地运行大型语言模型时需要设置的复杂事物都抽象出来。Oobabooga附带了许多扩展来集成其他功能。 使用Oobabooga，您可以提供来自Hugging Face的模型链接，它将下载模型，然后您可以立即开始推理模型。Oobabooga具有许多功能，并支持不同的模型后端，如GGML、GPTQ、exllama和llama.cpp版本。您甚至可以在LLM之上使用这个UI加载一个LoRA（低秩适应）。Oobabooga可以让您训练大型语言模型，创建聊天机器人/ LoRA。在本文中，我们将详细介绍使用Conda安装此软件。 设置环境 在本节中，我们将使用conda创建一个虚拟环境。所以，要创建一个新的环境，打开Anaconda Prompt并输入以下命令。…
Leave a Comment