49 search results for "SFT"

大型语言模型领域迎来了一个重要的跨越，Mixtral 8x7b的到来。Mistral AI开发了这个具有卓越能力和独特架构的新模型。它用稀疏的Expert混合（MoE）层取代了前馈层，这是变换器模型中的一种创新方法。 Mixtral 8x7b 在一个框架内拥有八个专家模型。这个模型是一个专家混合模型（MoE），使Mixtral能够实现卓越的性能。 专家混合技术可以使模型的预训练所需的计算能力大大减少。这意味着可以显著增加模型或数据集的大小而不增加计算预算。 在MoE层中引入了路由器网络，它可以高效选择处理哪些令牌的专家。尽管与含有12B参数的密集模型相比，Mixtral的模型拥有四倍的参数，但由于每个时间步选择了两个专家，因此可以快速解码。 Mixtral 8x7b具有32,000个令牌的上下文长度容量，优于Llama 2 70B，并在各种基准测试中展现出与GPT3.5相媲美或更好的结果。研究人员表示，该模型具有适用于各种应用的多功能性。它可以多语言操作，并展现其在英语、法语、德语、西班牙语和意大利语方面的流利性。其编码能力也非常出色；在HumanEval测试中得分40.2%，巩固了它作为一个全面的自然语言处理工具的地位。 Mixtral Instruct在MT-Bench和AlpacaEval等行业标准上表现出色。它在MT-Bench上的表现超过其他公开模型，并与GPT-3.5相匹配。尽管参数达到70亿，但该模型的性能类似于八个模型的集合。虽然它可能没有达到560亿参数的规模，但总参数数约为450亿。此外，Mixtral Instruct在指导和聊天模型领域表现出色，表达了其优势。 Mixtral Instruct的基本模型没有与其他基本模型对齐的特定提示格式。这种灵活性允许用户顺畅地扩展输入序列，获得合理的延续或将其用于零样本/少样本推理。 然而，有关预训练数据集的维度、组成和预处理方法的完整信息仍需进一步提供。同样，仍不知道对Mixtral instruct模型的DPO（域预提供目标）和SFT（部分微调）使用了哪些微调数据集和相关超参数。 总结一下，Mixtral 8x7b通过结合性能、适应性和创造力改变了语言模型的游戏规则。当AI社区继续研究和评估Mistral的架构时，研究人员迫切希望看到这种先进语言模型的影响和应用。MoE的8x7B能力可能为科学研究和发展、教育、医疗保健和科学开辟新的机遇。 这篇文章Meet Mixtral 8x7b: The…

大型语言模型（LLMs）是人工智能（AI）和深度学习领域的最新创新。像GPT、PaLM、LLaMa等等这些知名的LLMs在生成内容方面展示了令人难以置信的潜力。从问答和文本摘要到语言翻译和代码补全，这些模型可以做很多事情。包括ChatGPT在内的这些模型都经过了对广阔无监督文本语料库的广泛预训练。然而，最近的研究表明，细调整的常用做法可能并不像之前认为的那样必要。 对齐调整，即改进基本LLMs以用作开放领域AI助手的过程，已被接受为行业标准。这包括人工反馈强化学习（RLHF）和监督微调（SFT）。这一标准在一项名为LIMA的研究中受到了质疑，该研究表明，仅仅使用1000个样本进行SFT可能就足以实现有意义的对齐性能。 LIMA提出的表面对齐假设认为，对齐调整不是根本改变基本LLMs的行为，而是训练它们选择适用于用户参与的特定数据格式。这表明，只需几个样例就可以在监督微调下产生高质量的对齐模型。 由于至今还没有足够的研究为表面对齐理论提供坚实的支持，来自艾伦人工智能研究所和华盛顿大学的研究人员最近在一篇论文中讨论了对齐调整的广泛应用技术，以将基本LLMs转化为实用的开放领域AI助手。通过人工反馈的强化学习完成了偏好调整，并通过监督微调完成了指令学习。 该团队通过检查基本LLMs与其对齐的版本（如Llama-2和Llama-2-chat）之间的令牌分布变化，以研究对齐调整的影响。他们发现基本LLMs和其对齐版本在大多数位置的解码中共享排名靠前的令牌，并表现出几乎相同的性能。对话标记和安全声明是最受分布波动影响的样式令牌的例子。这项研究为假设提供了有说服力的证据，即对齐调整主要集中于融入AI助手的语言风格，而基本LLMs提供了响应用户查询所需的信息。 该团队还针对这些发现提出了一个研究课题：在没有SFT或RLHF的情况下，基本LLMs可以进行多大程度的对齐调整？他们提出了URIAL（未调整的LLMs与重新设计的上下文对齐），这是一种不需要调整的对齐技术。只需三个连续的样式示例和一个系统提示，URIAL通过基本LLMs的上下文学习（ICL）单独完成有效的对齐。 在一系列称为just-eval-instruct的实例中，该团队提供了详细易懂的分析，显示基于URIAL的基本LLMs的性能可以与或优于基于SFT（Mistral-7b-Instruct）或SFT+RLHF（Llama-2-70b-chat）进行对齐的LLMs。结果表明，有意识的提示和上下文学习可以显著缩小无调整与基于调整的对齐策略之间的差距。 总之，评估结果突出了浅层对齐调整，并表明它主要涉及采用语言风格并依赖于基本LLMs的现有知识。

将以下HTML代码翻译成中文（保留HTML代码）： 大型语言模型（LLM）是用于自然语言处理任务的人工智能模型。这些模型经过大规模的数据集训练，能够理解和生成人类般的文本。它们通过理解和生成人类般的文本，改变了自然语言处理的方式。在生活中各个领域都具有实用性。 加州大学伯克利分校的研究人员推出了一个名为Starling-7B的开放大型语言模型（LLM），该模型通过基于强化学习的人工智能反馈（RLAIF）进行训练。该模型利用我们最近开发的奖励训练和策略调整管道、我们的新GPT-4标记分类数据集（Nectar）以及先进的奖励训练和策略调整管道。 https://starling.cs.berkeley.edu/ Starling-7B的基础是GPT-4标记分类数据集（Nectar）。该数据集包含183,000条聊天提示，每个提示提供了来自不同模型（如GPT-4、GPT-3.5-instruct、GPT-3.5-turbo、Mistral-7B-Instruct和Llama2-7B）的七个回复，共计380万个配对比较。为了确保公正性，在提示GPT-4进行排名时，研究人员付出了相当大的努力来减小位置偏差，这个过程在数据集部分详细说明。 https://huggingface.co/berkeley-nest/Starling-LM-7B-alpha 他们使用了一个学习奖励模型来改进Openchat 3.5语言模型，并取得了令人印象深刻的结果。AlpacaEval得分从88.51%增加到91.99%，而MT-Bench得分从7.81增加到8.09。这些度量标准作为评估聊天机器人有多实用的标准。 研究人员使用直接优化偏好（DPO）将该模型与早期的开源模型（如Zephyra-7B、Neural-Chat-7B和Tulu-2-DPO-70B）进行了测试。虽然这些模型在聊天机器人领域表现良好，但与顶级SFT模型（如OpenHermes 2.5和Openchat 3.5在MT Bench中）相比，它们可能没有充分发挥RLHF的潜力。 研究人员强调该模型存在一定的挑战。它容易受到欺骗或操纵方法的影响。此外，模型在处理数学或推理任务时存在困难，并且其输出的事实准确性只能有时保证。他们还指出，模型偶尔会过于冗长，容易被越狱提示所影响。他们表示，依然致力于改进Starling-7B的这些缺陷。 为了解决这个问题，他们提出通过利用基于规则的奖励模型来进一步改进该模型，其中GPT-4作为指导，使用GPT-4技术报告中概述的技术。 总之，Starling-7B代表了LLM的重大进展，展示了通过人工智能反馈进行强化学习的可能性。自然语言处理领域正在因这些模型与社区共享的知识的合作而得到增强。研究人员正在努力改进模型的性能并解决这些限制。 本文来源：加州大学伯克利分校研究人员介绍Starling-7B：一种基于强化学习的开放大型语言模型（LLM） ，首发于MarkTechPost。

来自斯坦福大学和北卡罗来纳大学教堂山分校的研究人员解决了由语言模型产生的事实不准确的音调，也称为幻觉。在无需人工标注的情况下，研究人员对语言模型进行了微调，以增强在开放式生成环境中的事实准确性。利用自然语言处理的最新创新，他们采用了通过与外部知识库一致性评估事实性的方法，并使用直接偏好优化算法进行微调。该方法显著改善了Llama-2的事实性，大大降低了生成传记和医学问题回答方面的事实错误率，达到了7B规模。 各种策略旨在减轻语言模型中的事实错误，包括提示、内部表示扰动和基于检索的方法。在冲突解决和事实保持方面存在挑战，尤其是随着模型规模的增大。FactScore变种采用了训练期间的检索来解决推理时间复杂度的问题。通过微调实现的基于偏好的学习能够有效减少错误事实。该研究引入了一种无参考方法，利用语言模型的不确定性估计真实性。从自动生成的偏好对中学习事实性成为一种省时高效的方法，展示了不需要人工干预的潜力性改进。 该研究侧重于无限制生成环境，提出了一种通过微调语言模型来改善事实性的方法，无需人工标注。他们利用最新的自然语言处理创新，包括通过外部知识库判断事实性和使用直接偏好优化算法。该方法涉及从自动生成的事实性偏好排序中学习，与基准数据集上的其他策略相比，生成传记和回答医学问题的事实错误率显着降低。 本研究在判断事实性方面结合了与外部知识库一致性或模型置信度评分。 使用直接偏好优化算法进行微调，侧重于超越监督模仿的目标。它提出使用现有的检索系统或新颖的无检索方法，从自动生成的事实性偏好排序中学习。评估包括FactScore等自动度量标准，人工评估者的观点，以及与推理时间干预和对比层解码等方法的比较。 该方法证明了从自动生成的事实性偏好排序中学习以提高语言模型事实性的有效性。经过微调的Llama-2模型在生成传记方面的事实错误率降低了58％，在回答医学问题方面降低了40％，与RLHF或解码策略相比。 人工评估者认为FactTune-FS模型优于SFT模型。 GPT-4评估和FactScore评级显示高相关性，表明FactTune-FS在减少事实错误方面取得了成功。 该研究提出了改善语言模型事实性的有效策略，着重于长篇生成。 探索了两种方法：利用外部知识进行基于参考的真实性估计和利用模型的不确定性进行无参考估计。 用任一方法微调语言模型始终能减少错误事实。 无参考方法为事实性改进提供了可扩展的自我监督策略，无需金标准参考语料库。 实验结果显示出有希望的研究方向，建议进一步探索结合事实性调整方法并将方法扩展至更大模型。 未来的研究建议探索事实性调整与现有方法的组合，例如事实性调整DOLA实验。 建议进一步研究将事实性增强的解码技术与事实性调整过程相结合以提高事实性。 通过评估不同方法的组合效果，如事实性调整和推理时间干预，可以提供关于补充机制的见解。 建议研究较简单的提取原子事实的方法，并将事实性调整方法扩展到更大模型，如GPT-4。

通过使用图像-文本配对的附加预训练或对其进行精细调整以用于专门的视觉指令调整数据集，大型语言模型可以深入多模态领域，产生强大的大型多模态模型。然而，构建LMMs存在一些障碍，其中最主要的是多模态数据与仅文本数据集之间的数量和质量差异。以LLaVA模型为例，它由预训练的视觉编码器和针对指令进行调整的语言模型初始化。与仅使用超过100M个示例进行1800项任务的纯文本模型相比，它仅在150K个基于图像的人工对话上进行训练。由于这样的数据限制，视觉和语言模态可能不会对齐。 因此，LMMs可能会生成与图片给出的上下文不准确相关的幻觉输出。加州大学伯克利分校、CMU、UIUC、UW-Madison、UMass Amherst微软研究院和MIT-IBM Watson AI实验室的研究人员提出了LLaVA-RLHF，这是一种用于增强多模态对齐的视觉语言模型，以解决LMM训练中高质量视觉指令调整数据的缺失所带来的问题。他们的一个主要贡献是将LMM的多模态对齐调整为称为”从人类反馈中进行强化学习”的通用且可扩展的对齐范式，该对齐范式对于基于文本的AI代理人已经表现出显著的有效性。为了调整LMM，它收集人类偏好，重点关注识别幻觉，并将这些偏好用于强化学习。 这种策略可能可以在相对便宜的注释成本下改善多模态对齐，例如为基于图像的讨论收集10K个人类偏好需要3000美元。据他们所知，这种策略是多模态对齐领域中首次有效使用RLHF。仅仅获得奖励模型的高评分并不一定等同于改善人类判断，这就是奖励破解。这是目前RLHF范式可能存在的问题。先前的研究提出了迭代收集“新鲜”的人类反馈来阻止激励破解，但这种方法通常很昂贵，无法正确利用现有的人类偏好数据。本研究提出了一种更加高效利用数据的选择，试图使奖励模型能够利用由人类标注的更大型语言模型中已存在的知识和数据。 图1：图解了LMM训练的受监督微调（SFT）阶段期间可能出现幻觉的可能性，以及事实增强RLHF如何解决奖励模型能力低下的问题，该模型从SFT模型初始化。 首先，他们使用分辨率更高、规模更大的语言模型以及更优秀的视觉编码器来提升奖励模型的整体功能。其次，他们提出了事实增强RLHF算法，如图1所示，通过补充额外信息（如图片描述或基于真实多选项）来校准奖励信号。他们还将合成的视觉指令调整数据与现有的高质量人类注释的多模态对话数据进行增强，以提高LMMs在受监督微调阶段的总体能力。他们特别将Flickr30k转换为定位描述任务，将VQA-v2和A-OKVQA转换为多轮问答任务，并使用新的数据集训练LLaVA-SFT+模型。 最后，他们考虑了如何评估LMMs在实际创作情境中的多模态对齐，特别关注惩罚任何幻觉。他们开发的基准问题集MMHAL-BENCH涵盖了COCO的12个主要物体类别，并包含了8种工作类型。根据他们的分析，该基准数据集与人类评估非常接近，尤其是如果考虑反幻觉的分数。作为首个经过RLHF训练的LMM，LLaVA-RLHF在实验评估中表现出色。他们在LLaVA-Bench上看到了94％的改善，在MMHAL-BENCH上改善了60％，并在MMBench上刷新了52.4％的性能记录和POPE上82.7％的F1值。他们已经在GitHub上公开了他们的代码、模型和数据。