Press "Enter" to skip to content

48 search results for "第2部分"

在现代CPU上扩展BERT类模型的推断 – 第2部分

Published July 17, 2023 by 四海吧

介绍：使用英特尔软件优化 CPU 上的 AI 效率 正如我们在之前的博客文章中详细介绍的那样，英特尔 Xeon CPU 提供了一组专为 AI 工作负载设计的特性，例如 AVX512 或 VNNI（矢量神经网络指令），用于使用整数量化神经网络进行高效推断，以及额外的系统工具，以确保以最高效的方式完成工作。在本博客文章中，我们将重点介绍软件优化，并让您了解英特尔的新一代 Ice Lake Xeon CPU 的性能。我们的目标是为您提供软件方面的全部信息，以充分利用您的英特尔硬件。与之前的博客文章一样，我们将展示基准测试结果和图表，以及新的工具，使所有这些参数和特性易于使用。 今年四月，英特尔推出了最新一代英特尔 Xeon 处理器，代号 Ice Lake，针对更高效和高性能的 AI…

Continue reading在现代CPU上扩展BERT类模型的推断 – 第2部分
Leave a Comment

使用 QLoRA 对 Llama 2 进行微调，并在 Amazon SageMaker 上部署，配备 AWS Inferentia2

Published December 13, 2023 by 四海吧

在这篇文章中，我们展示了使用参数高效微调 (PEFT) 方法对 Llama 2 模型进行微调，并将微调后的模型部署在 AWS Inferentia2 上我们使用 AWS Neuron 软件开发工具包 (SDK) 来访问 AWS Inferentia2 设备，并从其高性能中受益然后，我们使用一个由 […] 提供支持的大型模型推断容器

Continue reading使用 QLoRA 对 Llama 2 进行微调，并在 Amazon SageMaker 上部署，配备 AWS Inferentia2
Leave a Comment

利用实体提取、SQL查询和具有Amazon Bedrock的代理来提升基于RAG的智能文档助手的能力

Published December 6, 2023 by 四海吧

近年来，由于生成式人工智能（Generative AI）的快速发展，尤其是通过指导微调和强化学习等训练技术引入的大语言模型（LLMs）的性能改善，会话型人工智能（Conversational AI）取得了长足的进步在正确提示的情况下，这些模型可以进行连贯的对话，而无需任何特定任务的训练数据[…]

Continue reading利用实体提取、SQL查询和具有Amazon Bedrock的代理来提升基于RAG的智能文档助手的能力
Leave a Comment

“建立对像ChatGPT这样的LLMs背后概念的直观理解 – 第1部分：神经网络、Transformer、预训练和微调”

Published September 6, 2023 by 四海吧

“我相信我不是唯一一个，但如果从一月份我的推文中还不够明显的话，当我第一次遇到ChatGPT时，我的脑海完全被震撼到了这种经历与众不同…”

Continue reading“建立对像ChatGPT这样的LLMs背后概念的直观理解 – 第1部分：神经网络、Transformer、预训练和微调”
Leave a Comment

Can't find what you're looking for? Try refining your search: