介绍 在过去几年中，语言模型领域经历了一场巨大的演变，特别是随着大规模语言模型（LLMs）的出现。这些模型具备数十亿个参数和对自然语言的深刻理解，对于改变人工智能领域起到了关键作用。今天，我们将探索这场革命，重点介绍从闭源到开源LLMs的转变，精细调整的重要性以及最近出现的高效调整技术的发展。 学习目标： 了解闭源和开源LLMs的区别。 了解LLMs中的传统和参数高效调整。 探索不同的参数高效调整策略。 学习使用Ludwig进行高效调整。 闭源vs开源LLMs：选择正确的方法 语言模型领域存在着闭源模型（如OpenAI的ChatGPT、GPT 3.5和GPT 4）和开源变种（如Meta、Google和各种研究实验室提供的）之间的两极分化。闭源LLMs由于其管理基础设施和快速概念验证能力，成为一个引人注目的起点。这些模型提供高质量的预训练数据集，并且无需设置基础设施，使得那些探索LLMs能力的人可以轻松入门。 然而，尽管闭源LLMs易于获取，但它们存在根本性的局限性。它们缺乏模型所有权和极少的自定义能力，特别是对于数据隐私和模型控制至关重要的领域，这使得闭源LLMs不太适合长期投资。相比之下，开源LLMs提供了一个有希望的替代方案。它们使得完全拥有模型和自定义成为可能，并便利地获得开源空间中的创新发展。而付出的代价则是主机费用和困难。 传统微调和参数高效微调 微调成为了最大化LLMs潜力的关键过程，特别是考虑到特定领域任务的情况下。闭源模型常常缺乏所需的灵活性进行微调，而开源模型则可以完全控制这个过程。微调允许通过更新模型权重将预训练的LLMs适应于特定任务，从而提高性能。这是将这些通用模型个性化为专用应用的手段，为独特任务优化性能。 关于微调和类似检索增强生成（RAG）模型之间的辩论，重点在于是否需要针对具体任务进行定制的模型，而非通用智能模型。开源LLMs的性质允许自定义和高效微调以实现卓越的任务特定性能。 传统微调涉及更新所有模型参数，这一过程已被证明是资源密集型、耗时且不总能获得最佳的任务特定性能。然而，参数高效微调的最新创新取得了突破。通过冻结预训练LLM并仅训练一小部分特定任务层（不到总模型权重的1%），高效微调变得既节约资源又更有效。 向参数高效微调的转变显著影响了LLMs如何适应特定任务。通过仅关注训练少量特定任务层，这个过程变得更具成本效益和高效性。这种创新方法在较小数据集上实现了最佳任务特定性能，展示了开源LLMs相对于闭源模型的潜力。 Meta等人的LIMA论文等研究支持了在较小数据集上进行微调可以超越GPT 4等闭源模型性能的观点。这种通过较少数据实现更多的概念的概念突出了开源LLMs在适当微调下的效率和效果。 理解高效训练策略 在利用预训练模型进行特定任务时，LoRA（低秩自适应）和QLoRA（量化低秩自适应）已经成为有效微调大型语言模型（LLMs）的创新方法。这些方法对于将预训练模型定制为专用任务而最小化附加参数非常重要。 LoRA：对体系结构的深入研究 LoRA的体系结构涉及低秩分解，通过将变压器架构中的大型权重矩阵分解为较小矩阵来实现。在变压器的上下文中，LoRA专注于查询，键和值线性投影。 通常，这些线性投影具有大的权重矩阵，例如1024×1024，LoRA将其分解为较小的矩阵，例如1024×8和8×1024。这些较小的矩阵相乘，可以产生原始的维度。这种压缩大大减少了可调参数的数量，约为总LLM参数的一半到1%。 在变压器体系结构的上下文中，LoRA为键和查询投影层集成了适配器模块。这些通过低秩分解构造的适配器保持了原始形状，同时使其能够插入到变压器层中。基本层保持冻结状态，只有适配器权重是可训练的。…
Leave a CommentTag: DataHour Article
介绍 欢迎来到从商业角度探索社交虚拟现实（Social VR）和虚拟角色。社交虚拟现实可以让你在虚拟空间中像面对面那样互动，而虚拟角色则给这个数字世界增添了个性。企业应该关注它们，因为它们有助于全球连接、降低成本和个性化体验。虚拟现实的未来光明，硬件进步、人工智能整合和元宇宙的出现为商业提供了新的机会。 这些技术不仅局限于娱乐，还应用于教育和医疗领域。然而，硬件兼容性和数据隐私等技术挑战必须得到解决。在这个探索中，我们将揭示一个充满可能性的世界，并探讨使用虚拟现实时的道德考虑。 学习目标： 了解社交虚拟现实的概念及其在商业应用中的潜力。 探索逼真度、定制化和个性化在创造沉浸式虚拟体验中的作用。 认识社交虚拟现实在教育和医疗领域的影响，作为其转变潜力的实际案例。 什么是社交虚拟现实？ 首先，让我们了解一下社交虚拟现实和虚拟角色是什么。想象一下，进入一个数字领域，在那里你可以与他人进行互动，就像他们就在你身边一样。这就是社交虚拟现实的本质，它是一个提供共享体验、互动和参与的虚拟空间。就像是终极的虚拟聚会场所，你和同事或朋友可以聊天、玩游戏、参加活动，甚至进行商务会议，同时沉浸在数字环境中。 那么，虚拟角色又是什么？它们是你在社交虚拟现实和其他虚拟环境中遇到的数字存在。它们有各种形态，一些由先进的人工智能算法驱动，而其他一些则代表真实个体。这些角色在虚拟体验中充当你的导游、伙伴或对手，给数字世界增添了个性和生命力。 但为什么企业应该关注社交虚拟现实和虚拟角色呢？因为它们在商业世界中具有巨大的潜力。它们不仅仅是娱乐工具，更是增长工具，使企业能够与全球受众建立联系、降低成本并建立有意义的连接。让我们来探索一下如何做到这一点。 元宇宙中的商业机会 想象一下，进入一个数字领域，在那里你可以与他人进行互动，就像他们就在你身边一样；这就是社交虚拟现实或Social VR的本质。它是一个虚拟聚会场所，你和朋友或同事可以聊天、玩游戏，甚至参加活动，同时沉浸在数字环境中。但为什么企业要关注这种数字娱乐呢？因为社交虚拟现实和虚拟角色提供了重要的商业机会。 逼真度和互动在社交虚拟现实中的作用 在社交虚拟现实中，逼真度和互动水平对于创造令人难忘的体验至关重要。环境和互动越真实，用户的参与感和沉浸感就越强。这种沉浸式的体验是社交虚拟现实与传统在线沟通方式（如视频通话或聊天）的区别所在。企业可以利用这种逼真度来构建品牌体验，建立客户信任，并建立有意义的联系。 虚拟世界中的定制化和个性化 在社交虚拟现实中，你有能力创建自己的数字身份。无论你是想成为科幻英雄、神秘生物，还是简单地展现自己的精致形象，你都可以相应地塑造你的虚拟形象。企业利用这种定制化能力，根据个人偏好量身定制虚拟体验，使每位客户感到独特的价值。提供全天候可用性和多语言支持的能力还可以增强客户参与度和包容性。 案例研究：社交虚拟现实在教育中的成功应用 现在，让我们深入了解社交虚拟现实如何产生影响的真实例子。虚拟现实有潜力彻底改变教育，使学习更具沉浸感和吸引力。想象一下，带领学生进行虚拟旅程，探索历史事件或海洋生态系统，甚至走进细胞中了解生物。可能性是无限的。 在一个YouTube视频中，我们可以看到虚拟现实在教育中的各种应用： 纪录片：通过沉浸式的虚拟现实纪录片，学生可以更深入地了解各种科学和社会问题，通过亲身体验内容。 虚拟旅行：学生可以在虚拟世界中环游世界，探索不同的城市和自然奇观，拓宽视野而不离开教室。 艺术和创造性：虚拟现实使学生可以在三维空间中与艺术互动和创作，培养创造力和对艺术表达的深层连接。…
Leave a Comment介绍 语言模型，简称LLM，已经席卷了自然语言处理领域。它们是强大的人工智能系统，旨在生成类似于人类的文本、理解和响应自然语言输入。本质上，它们旨在模仿人类的语言理解和生成。让我们开始一段旅程，了解微调LLM的复杂性，并探索改变领域的创新PEFT（Prompt Engineering and Fine Tuning）技术。 学习目标： 理解语言模型中微调的概念。 理解PEFT技术及其重要性。 探索有效系数选择的技术。 理解PEFT技术 首先，让我们解读这个缩略词——PEFT代表参数效率微调。但在这个背景下，参数效率意味着什么，为什么它很重要呢？ 在机器学习中，模型实质上是由数以万计的系数或权重构成的复杂数学方程。这些系数决定模型的行为，并使其能够从数据中学习。当我们训练一个机器学习模型时，我们调整这些系数以最小化误差并进行准确的预测。对于可以拥有数十亿参数的LLM来说，在训练期间改变所有参数可能会消耗大量的计算资源和内存。 这就是微调的作用。微调是将已训练好的模型进行微调，以适应特定任务的过程。它假设模型已经具备了对语言的基本理解，并专注于使其在特定领域表现出色。 作为微调的子集，PEFT严肃地考虑了参数效率。与其改变模型的所有系数，PEFT选择其中的一个子集，从而大大减少了计算和内存需求。当训练大型模型（如Falcon 7B）时，这种方法特别有用。 训练、微调和提示工程：主要区别 在深入研究PEFT之前，让我们澄清训练、微调和提示工程之间的区别。这些术语经常被互换使用，但在LLM的背景下具有特定的含义。 训练：当一个模型从头开始创建时，它经历了训练。这涉及调整模型的所有系数或权重，以学习数据中的模式和关系。这就像是将模型教授语言的基础知识。 微调：微调假设模型已经具备了对语言的基本理解（通过训练实现）。它涉及有针对性地进行调整，以使模型适应特定的任务或领域。将其视为对受过良好教育的模型进行细化，以实现特定工作，如回答问题或生成文本。 提示工程：提示工程涉及制作输入提示或问题，引导LLM提供所需的输出。它是根据您的需求定制与模型的交互方式。 PEFT在微调阶段起着重要作用，我们有选择地修改模型的系数，以提高其在特定任务上的性能。 探索LoRA和QLoRA用于系数选择 现在，让我们深入了解PEFT的核心，并了解如何高效选择系数的子集。两种技术，LoRA（低秩采用）和QLoRA（量化+低秩采用），用于实现这一目的。 LoRA（低秩采用）：LoRA是一种技术，它认识到模型中的并非所有系数都同等重要。它利用了一些权重对模型产生的影响比其他权重更大的事实。在LoRA中，通过因式分解将大型权重矩阵分为两个较小的矩阵。因子“R”决定选择了多少个系数。通过选择较小的“R”，我们减少了需要进行调整的系数数量，使微调过程更高效。…
Leave a Comment介绍 生成式人工智能是一个引人入胜的领域，它承诺改变我们与技术互动和生成内容的方式，并已席卷全球。在本文中，我们将探索大型语言模型（LLMs）的迷人领域，它们的构建模块，封闭源LLMs带来的挑战以及开源模型的出现。我们还将深入探讨H2O的LLM生态系统，包括h2oGPT和LLM DataStudio等工具和框架，使个人能够在没有深入编码技能的情况下训练LLMs。 学习目标： 了解大型语言模型（LLMs）的生成式人工智能的概念和应用。 认识封闭源LLMs的挑战和开源模型的优势。 探索H2O的LLM生态系统，以实现无需深入编码技能的人工智能训练。 LLMs的构建模块：基础模型和微调 在我们深入研究LLMs的细节之前，让我们先了解生成式人工智能的概念。在以预测性人工智能为主，基于历史数据模式进行预测的同时，生成式人工智能则颠覆了这一模式。它赋予了机器从现有数据集中创建新信息的能力。 想象一下，一个机器学习模型不仅能够预测，还能生成文本、概括内容、分类信息等，这一切都来自于一个模型。这就是大型语言模型（LLMs）的作用。 LLMs采用多步骤的过程，首先是一个基础模型。这个模型需要一个庞大的数据集进行训练，通常是以TB或PB为单位的数据。这些基础模型通过预测序列中的下一个单词来学习，目的是理解数据内部的模式。 一旦建立了基础模型，下一步是微调。在此阶段，使用经过精心策划的数据集进行有监督微调，将模型塑造成所需的行为。这可能涉及训练模型执行特定任务，例如多选题选择、分类等。 第三步是强化学习与人类反馈，进一步提升模型的性能。通过使用基于人类反馈的奖励模型，模型微调其预测，使其更加贴近人类的偏好。这有助于减少噪音并提高响应的质量。 这个过程中的每一步都有助于提高模型的性能并减少不确定性。值得注意的是，基础模型、数据集和微调策略的选择取决于具体的用例。 封闭源LLMs的挑战和开源模型的崛起 封闭源LLMs，如ChatGPT、Google Bard等，已经证明了它们的有效性。然而，它们也带来了一些挑战。这些挑战包括数据隐私问题、定制和控制能力有限、高运营成本以及偶尔的不可用性。 组织和研究人员已经认识到需要更易于访问和定制的LLMs。为此，他们开始开发开源模型。这些模型具有成本效益、灵活性，并可以根据特定要求进行定制。它们也消除了将敏感数据发送到外部服务器的担忧。 开源LLMs使用户能够训练自己的模型并访问算法的内部工作原理。这个开放的生态系统提供了更多的控制和透明度，为各种应用提供了一个有希望的解决方案。 H2O的LLM生态系统：无需编码的LLM训练工具和框架 H2O是机器学习领域的一家重要参与者，他们开发了一个强大的LLM生态系统。他们的工具和框架可以在无需深入编码专业知识的情况下进行LLM训练。让我们来探索其中的一些组件。 h2oGPT h2oGPT是一个可以在自己的数据上进行训练的经过微调的LLM。最棒的部分是，它完全免费使用。通过h2oGPT，您可以尝试使用LLMs，甚至商业应用。这个开源模型使您能够探索LLMs的能力，而无需面对财务障碍。 部署工具 H2O.ai…
Leave a Comment