1 search result for "NeuronCores-v2"

使用 QLoRA 对 Llama 2 进行微调，并在 Amazon SageMaker 上部署，配备 AWS Inferentia2

Published December 13, 2023 by 四海吧

在这篇文章中，我们展示了使用参数高效微调 (PEFT) 方法对 Llama 2 模型进行微调，并将微调后的模型部署在 AWS Inferentia2 上我们使用 AWS Neuron 软件开发工具包 (SDK) 来访问 AWS Inferentia2 设备，并从其高性能中受益然后，我们使用一个由 […] 提供支持的大型模型推断容器