此时，我们都在想同样的事情。LLM的世界真的占领了吗？你们中的一些人可能预期炒作会达到顶峰，但它仍在持续上升。越来越多的资源正在投入LLM，因为它显示出了巨大的需求。
LLM的性能不仅成功，而且它们适应各种NLP任务（如翻译和情感分析）的多功能性也非常出色。调整预训练的LLM使得针对特定任务更加容易，从头构建模型的计算成本也较低。LLM已迅速应用于各种实际应用中，推动了研究和开发的数量。
对于LLM来说，开源模型也是一个重要的优点，因为开源模型的可用性使研究人员和组织能够不断改进现有模型，以及如何安全地将其集成到社会中。
什么是OpenLLM？
OpenLLM是一个用于在生产环境中操作LLM的开放平台。使用OpenLLM，您可以轻松地在任何开源LLM上运行推理、微调它们、部署和构建强大的AI应用程序。
OpenLLM包含最先进的LLM，如StableLM、Dolly、ChatGLM、StarCoder等，所有这些都得到了内置支持。您还可以自由构建自己的AI应用程序，因为OpenLLM不仅仅是一个独立的产品，还支持LangChain、BentoML和Hugging Face。
所有这些功能，而且它是开源的？听起来有点疯狂对吧？
而且，它安装和使用起来也很简单。
如何使用OpenLLM？
要使用LLM，您将需要至少安装Python 3.8和pip在您的系统上。为了防止包冲突，建议您使用虚拟环境。
- 一旦您准备好了这些，您可以使用以下命令轻松安装OpenLLM：
pip install open-llm
- 为了确保已正确安装，您可以运行以下命令：
$ openllm -h
Usage: openllm [OPTIONS] COMMAND [ARGS]...
██████╗ ██████╗ ███████╗███╗ ██╗██╗ ██╗ ███╗ ███╗
██╔═══██╗██╔══██╗██╔════╝████╗ ██║██║ ██║ ████╗ ████║
██║ ██║██████╔╝█████╗ ██╔██╗ ██║██║ ██║ ██╔████╔██║
██║ ██║██╔═══╝ ██╔══╝ ██║╚██╗██║██║ ██║ ██║╚██╔╝██║
╚██████╔╝██║ ███████╗██║ ╚████║███████╗███████╗██║ ╚═╝ ██║
╚═════╝ ╚═╝ ╚══════╝╚═╝ ╚═══╝╚══════╝╚══════╝╚═╝ ╚═╝
An open platform for operating large language models in production.
Fine-tune, serve, deploy, and monitor any LLMs with ease.
- 为了启动LLM服务器，使用以下命令，包括您选择的模型：
openllm start
例如，如果您想启动一个OPT服务器，请执行以下操作：
openllm start opt
支持的模型
OpenLLM支持10种模型。您还可以在下面找到安装命令：
- chatglm
pip install "openllm[chatglm]"
此模型需要GPU。
- Dolly-v2
pip install openllm
此模型可以在CPU和GPU上使用。
- falcon
pip install "openllm[falcon]"
此模型需要GPU。
- flan-t5
pip install "openllm[flan-t5]"
此模型可以在CPU和GPU上使用。
- gpt-neox
pip install openllm
此模型需要GPU。
- mpt
pip install "openllm[mpt]"
此模型可以在CPU和GPU上使用。
- opt
pip install "openllm[opt]"
此模型可以在CPU和GPU上使用。
- stablelm
pip install openllm
此模型可以在CPU和GPU上使用。
- starcoder
pip install "openllm[starcoder]"
此模型需要GPU。
- baichuan
pip install "openllm[baichuan]"
此模型需要GPU。
要了解有关运行时实现、微调支持、集成新模型和部署到生产环境的更多信息，请查看适合您需求的文档。
总结
如果您希望使用OpenLLM或需要帮助，可以加入他们的Discord和Slack社区。您还可以使用他们的开发者指南为OpenLLM的代码库做出贡献。
有人尝试过吗？如果是的，请在评论中告诉我们您的想法！Nisha Arya是一名数据科学家，自由技术作家和VoAGI的社区经理。她特别关注提供关于数据科学职业建议、教程和理论知识。她还希望探索人工智能在延长人类寿命方面的不同方式。作为一名热心的学习者，她寻求拓宽自己的技术知识和写作技巧，同时帮助指导他人。