Tag: Applications

这项研究解决了Claude 2.1功能中的一个固有挑战：其不愿根据其覆盖的200K令牌上下文窗口中的单个句子回答问题的问题。这种犹豫在最大化模型的回忆能力方面构成了一个重大障碍，促使了解决方案的探索。 对当前方法的检查揭示了Claude 2.1在面对有关单个句子的问题时的犹豫，尤其是那些被视为不合适的问题。作为回应，Anthropic的研究人员介绍了一个令人惊讶地有效的解决方案：添加一个提示。他们建议将句子“这是上下文中最相关的句子：”并入提示中。这个看似微小的调整，类似于一个元命令，极大地增强了模型的召回能力。 添加的提示作为指令，指示Claude 2.1优先处理相关的句子。这种方法有效地解决了模型对看似不合适句子问题的犹豫。性能改进通过一个实验证明：在200K上下文窗口评估中，Claude的分数从27%跃升到了令人印象深刻的98%。 值得注意的是，在提供了这个提示后，单个句子查询的准确性出现了显著增加。重要的是，这种对单个句子查询准确性的增加展示了添加提示对Claude 2.1性能的深远影响。这种显著改进表明了解决方案的实际意义，使得模型能够更好地处理在更大上下文中的孤立句子查询。 总之，这个有创意的解决方案解决了Claude 2.1的犹豫，通过添加一个提示增加了召回能力的70%。研究团队的发现提供了关于提示的微妙动态及其对语言模型行为的重大影响的宝贵见解。随着人工智能社区寻求提高大型语言模型的精确性，这一发现成为一个重要的进展，对改进其功能具有实际意义。 这篇文章最初发表于MarkTechPost上，转自最近的Anthropic研究表明，通过单个提示的添加，可以将LLMs的召回能力提高70%：通过战略提示释放Claude 2.1的力量。

伊利诺伊大学厄巴纳香槟分校和清华大学的研究团队旨在通过引入Magicoder来解决从开源代码片段生成低偏差、高质量编码挑战的难题。Magicoder在各种编码基准测试中表现优于现有的语言模型，包括Python文本转代码生成、多语言编码和数据科学程序语言模型。 CodeGen、CodeT5、StarCoder和CODELLAMA等知名基础模型已经证明了语言模型在代码生成和理解方面的基本能力。指令微调的提出旨在通过使用指令-响应对来对预训练的语言模型进行微调，SELF-INSTRUCT和Evol-Instruct等方法则用于生成指令微调的合成数据。现有的代码基准测试，如HumanEval、MBPP、APPS和CodeContests，评估语言模型在从自然语言描述中开发单功能程序方面的能力。 Magicoder是一系列完全开源的用于代码的语言模型，使用OSS-INSTRUCT方法在75,000个合成指令数据上进行训练，该方法使用开源代码片段启发语言模型生成高质量的代码指令数据。该方法通过从GitHub获取种子代码片段，促使语言模型生成与种子代码相关的编码问题和解决方案，确保多样性和真实世界的相关性。评估使用HumanEval和MBPP等基准测试，重点关注pass1指标。使用INSTRUCTOR根据嵌入相似性对由OSS-INSTRUCT生成的数据进行分类。为了提高鲁棒性，采用了数据清洗技术，包括净化和提示过滤。 Magicoder以不超过70亿的适度参数量展现了与顶级代码模型竞争性能。使用OSS-INSTRUCT在75,000个合成指令数据上进行训练，Magicoder在Python文本转代码生成、多语言编码和数据科学程序语言建模方面超越了先进的代码模型。增强版MagicoderS进一步改进了代码生成性能，在各种基准测试中超过了类似或更大尺寸的其他模型。 MagicoderS-CL-7B在代码模型中同时实现了前沿结果，展示了强大和优越的代码生成能力。 总之，该研究突出了使用OSS-INSTRUCT的有效性，该方法利用语言模型从开源代码片段中生成编码挑战。经过OSS-INSTRUCT训练的Magicoder在不同的编码基准测试中比其他参数更大的语言模型表现更好。此外，当与Evol-Instruct结合时，它还增强了MagicoderS模型，在HumanEval基准测试中表现出与ChatGPT等领先模型相似的令人印象深刻的性能。该研究建议公开模型权重、训练数据和源代码，以支持未来对于代码的语言模型和扩展OSS-INSTRUCT到更大的基础模型以生成更高质量数据的研究工作。

人工智能（AI）和机器学习（ML）的能力使它们成功地进入了各个行业。最近，随着大型语言模型（LLMs）和问答系统的引入，AI社区取得了很大的进展。从预先计算好的包含问题-答案配对的数据库中高效地检索响应是自动问答（QA）系统的常见步骤。 有两种主要的QA范例：开放式和闭塞式。开放式范例，或称为取阅和阅读，是一个两步骤过程，其中相关材料是从庞大的文档语料库（经常是互联网）中获得的，然后通过应用不同的模型和方法从已获得的材料中提取解决方案。另一方面，闭塞式方法较新，依赖于在训练中学习的技能，这些使用该范例的模型通常基于Seq2Seq模型如T5，可以在不使用外部语料库的情况下产生结果。 虽然闭塞式技术显示出了显着的结果，但对于许多工业应用来说，资源消耗太大，并对系统性能构成重大风险。数据库问答（DBQA）是一种从预先生成的问题-答案对数据库中检索响应而不是依赖于模型参数或大型语料库中的信息的方法。 这些系统的三个主要部分是问题和答案的数据库、查询数据库的检索模型和选择最佳答案的排名模型。DBQA技术能够进行快速的推理，并具备添加新对并避免重新训练模型的能力，从而引入新的信息。 数据库问答技术的检索和排名模型开发的主要问题之一是缺乏实质性的训练数据。现有资源在范围和内容方面还不足，因为其中很多需要改进注释过程的质量或只关注问题之间的相似性，忽视了答复。 为了克服这些挑战，一组研究人员提出了一个名为QUADRo的问题-答案数据库检索数据集和模型。这是一个新的、面向开放域的注释资源，专门用于训练和评估模型。这个资源中每一个15,211个输入问题都有30个相关问题-答案对。这个收集总共有443,000个标注样本。每对的二进制指示器标记了它在与输入查询的关系中的重要性。 该团队还进行了全面的实验，以评估该资源与几个重要QA系统组件的质量和特性的关系。这些组件包括训练方法、输入模型配置和答案的相关性。通过对在该数据集上训练的模型的行为和性能进行检查，实验证明了所建议的方法在检索相关响应方面的效果。 总之，该研究通过引入一种有用的资源并仔细评估该资源的属性，解决了自动质量保证系统中训练和测试数据的不足。重视培训策略和答案相关性等重要元素有助于对该资源的全面了解。

我们能更高效地优化大型语言模型吗？ 由来自微软、南加州大学和俄亥俄州立大学等多个机构的研究人员组成的研究团队进行了广泛的算法改进回顾，目标是提高LLMs的效率，并涵盖了扩展规律、数据利用、架构创新、训练策略和推理技术。这些全面的洞察旨在为高效的LLMs的未来创新奠定基础。 涵盖扩展规律、数据利用、架构创新、训练策略和推理技术，概述了核心LLM概念和效率度量。该回顾提供了对为提高LLM效率做出贡献的方法的全面、最新的概述。研究人员鼓励提供额外参考文献的建议，承认可能会忽视相关研究。 LLMs在自然语言理解中扮演着重要角色。然而，它们高昂的计算成本使得它们对每个人都不容易获得。为了克服这一挑战，研究人员不断进行算法改进，以提高它们的效率并使其更易获得。这些进展为人工智能的未来创新，尤其是在自然语言处理领域铺平了道路。 本研究调查了增强LLMs效率的算法进展。它考察了各种效率方面，包括扩展规律、数据利用、架构创新、训练策略和推理技术。并提到了Transformer、RWKV、H3、Hyena和RetNet等具体方法。讨论包括知识蒸馏方法、紧凑模型构建方法，以及基于频率的注意力建模和计算优化技术。 本调查综合性地研究了LLM效率而非专注于特定领域，涵盖了包括扩展规律、数据利用、架构创新、训练策略和推理技术在内的多样化效率方面。作为一种有价值的资源，它为LLM效率的未来创新奠定了基础。提供一个参考仓库增强了进一步探索和研究此关键领域的效用。然而，研究中提到的个别研究和方法的具体结果和发现应明确提供在给定的来源中。 总而言之，本调查深入探讨了可提高LLM技术效率的最新算法改进。它涵盖了扩展规律、数据利用、架构创新、训练策略和推理技术。调查强调了算法解决方案的重要性，并探讨了模型压缩、知识蒸馏、量化和低秩分解等方法来提高LLM的效率。这个全面的调查是一种重要工具，可以提供关于LLM效率现状的丰富的有价值洞察。

“`html 谷歌最新推出的人工智能项目“Gemini”代表了人工智能技术的重大飞跃。作为一个具有非凡能力的AI模型，Gemini是谷歌对AI优先战略的持续承诺的证明。该发展不仅是谷歌的里程碑，也对AI领域有广泛的影响，为全球的开发者、企业和终端用户带来了新的可能性和增强功能。 Gemini由Google DeepMind与谷歌研究部门合作开发，被设计成固有的多模态模型。这意味着它可以理解、处理和整合各种信息类型，包括文本、代码、音频、图像和视频。该模型的体系结构使其可以在各种设备上高效运行，从数据中心到移动设备，凸显了它的灵活性和适应性。 Gemini的第一个版本，Gemini 1.0，有三个变体：Gemini Ultra，Gemini Pro和Gemini Nano。每个变体都针对特定用例进行了优化： Gemini Ultra：这是最全面的模型，适用于高度复杂的任务。在30个32项学术基准测试中表现出了卓越的性能，超过了当前32个基准测试中的最先进结果。值得注意的是，它是第一个在大规模多任务语言理解（MMLU）方面超越人类专家的模型，这项测试在多个领域测试知识和问题解决能力。 Gemini Pro：被认为是在各种任务上扩展的最佳模型，Gemini Pro在功能和多功能之间提供了平衡。 Gemini Nano：针对设备上的任务进行了优化，这个版本是最高效的，适用于移动设备和类似平台。 Gemini的一个关键优势是其复杂的推理能力。该模型可以解析和解释复杂的书面和视觉信息，使其在处理大规模数据集中隐藏的知识方面特别擅长。这种能力预计将在科学和金融等各个领域推动突破。 在编码方面，Gemini Ultra展示了卓越的熟练度。它可以理解、解释和生成多种编程语言的高质量代码，使其成为领先的编码基础模型之一。 https://storage.googleapis.com/deepmind-media/gemini/gemini_1_report.pdf 然而，需要注意的是，Gemini不仅仅是一个单一的模型，而是一个模型系列，每个模型都旨在满足不同的需求和计算环境。这种方法标志着与传统的创建多模态模型的方法有所不同，传统方法通常涉及为不同的模态训练并组合各个组件。相比之下，Gemini从一开始就具有多模态特性，更无缝、有效地整合各种信息类型。 总之，谷歌的Gemini代表了人工智能领域的重大进展。它的多模态能力、灵活性和最先进的性能使其成为广泛应用于各种领域的强大工具。它体现了谷歌对负责任的AI发展的雄心壮志和承诺，推动了对越来越强大的AI系统在社会和伦理方面的影响所能达到的极限。 “`

近几个月来，大型语言模型（LLMs）的受欢迎度显著上升。基于自然语言处理、自然语言理解和自然语言生成的优势，这些模型在几乎每个行业中展示了它们的能力。随着生成式人工智能的引入，这些模型已经被训练成可以像人类一样产生文字回应。 通过着名的GPT模型，OpenAI展示了LLMs的强大能力，并为转型发展铺平了道路。通过微调和检索增强生成（RAG）等方法，提高了AI模型的能力，为更精确和上下文丰富的回应提供了答案。 检索增强生成（RAG） RAG将基于检索和生成的模型结合在一起。与传统生成式模型不同，RAG在不改变基础模型的情况下融入有针对性和当前性的数据，使其能够超越现有知识的边界。 RAG的基本思想是基于特定组织或领域数据构建知识库。随着知识库的定期更新，生成式人工智能可以访问当前和上下文相关的数据。这使得模型能够以更精确、复杂和适合组织需求的方式回应用户输入。 大量动态数据被转换为标准格式，并存储在知识库中。然后，使用嵌入式语言模型对数据进行处理，创建数值表示，并保存在向量数据库中。RAG确保AI系统不仅能产生文字，还能使用最新的和相关的数据。 微调 微调是一种通过对经过预训练的模型进行定制以执行指定动作或显示特定行为的方法。它包括采用已经训练过大量数据点的现有模型，并对其进行修改以实现更具体的目标。可以将擅长生成自然语言内容的预训练模型优化为关注制作笑话、诗歌或摘要。通过微调，开发人员可以将庞大模型的整体知识和技能应用于特定的主题或任务。 微调对于提高特定任务的性能尤其有益。通过通过精心选择的数据集提供专业信息，模型在特定任务中变得熟练，能够产生精确和上下文相关的输出。与从头开始的训练相比，微调大大减少了所需的时间和计算资源，因为开发人员可以利用预先存在的信息。该方法使得模型能够通过适应特定领域来更有效地给出集中的答案。 评估微调和RAG时考虑的因素 RAG通过定期从外部源请求最新数据而无需频繁模型重新训练，在动态数据情况下表现异常出色。而微调则缺乏召回的保证，因此不太可靠。 RAG通过从其他来源获取相关数据增强了LLMs的能力，非常适合需要访问外部知识的应用，如文档摘要、开放域问答和能够从知识库检索数据的聊天机器人。而微调外部信息对于经常更改的数据源可能不可行。 RAG阻止了对较小模型的使用。而微调则提高了小型模型的效能，能够实现更快、更便宜的推理。 RAG可能不会根据所获得的信息自动调整语言风格或领域专业化，因为它主要专注于信息检索。通过微调允许调整行为、写作风格或特定领域知识，能够提供与特定风格或专业领域深度匹配的答案。 RAG通常不容易出现错误的信息，它的每个答案都是基于检索到的信息。微调可能会减少错误信息，但当面对新的刺激时，可能仍会造成虚构的反应。 RAG通过将响应生成分为离散阶段，提供了透明度，并提供了检索数据的信息。微调增加了回答背后逻辑的不透明性。 RAG和微调的用例有何不同？ LLMs可以用于多种NLP任务的微调，如文本分类、情感分析、文本生成等，其中主要目标是根据输入理解和产生文本。RAG模型在需要访问外部知识的任务情况下表现出色，如文档摘要、开放域问答和能够从知识库检索数据的聊天机器人。 基于训练数据的RAG和Fine-tuning的区别 在对LLM进行Fine-tuning时，虽然它们不专门使用检索方法，但它们依赖于任务特定的训练材料，这些材料通常是与目标任务匹配的标记示例。另一方面，RAG模型被训练用于检索和生成任务。这需要将显示成功检索和使用外部信息的数据与生成的监督数据进行结合。 架构差异 为了对LLM进行Fine-tuning，通常需要使用诸如GPT等预训练模型，并在任务特定数据上对其进行训练。架构不变，只对模型参数进行微小修改，以最大化特定任务的性能。RAG模型具有混合架构，通过将外部存储模块与基于GPT的transformer式LLM相结合，实现了从知识源（如数据库或文档集合）的有效检索。 结论 总之，在人工智能这个不断变化发展的领域中，选择RAG和Fine-tuning之间的方法取决于应用需求。这些方法的组合可能会导致更复杂、更适应性强的AI系统，随着语言模型的不断发展。 参考资料…

最近，语言模型中出现了一个关键问题，即语言模型（LMs）提供错误信息的高比率，包括对不存在的文章标题的引用。《韦氏词典》将幻觉定义为“由人工智能算法生成的合理但错误或误导性响应”。有一次，提交了他们认为准确无误的法律研究文件的律师面临5000美元的罚款。在医学领域，患者的幻觉可能是致命的，医生担心被控以疏忽罪。此外，媒体广泛报道了幻觉问题，美国总统最近发布了《行政命令》，要求包括针对生成式人工智能系统产生的欺骗性结果的保护在内的措施。 在这项工作中，来自微软研究院和乔治亚理工学院的研究人员提出了校准事实预测器的学习机器（LMs）的幻觉率的统计下界。这揭示了幻觉的特性。这并不意味着幻觉是不可避免的。正如研究小组将讨论的那样，这与实践者越来越多地使用“预训练”程序和“后训练”程序相补充的趋势更加一致，这可以降低幻觉率和校准。LM只是一种对标记序列（即单词或其他字符序列）的概率分布D。任何一个预测每个字符串的LM（这是LM的典型特征）都将必然以正概率产生幻觉。然而，如果此概率较低，则幻觉将不常见。因此，测量幻觉的频率是必要的。 完整序列上的对数概率或给定前面的标记的条件对数概率可以用于等同地表示任何分布D：log D(t1… tm) = Pm i=1 log D(ti | t1 … ti−1)。这看似微不足道的数学等价性有重要的含义。虽然预测和生成有不同的要求，但任何LM都可以用来产生文本或预测自然出现的文本中下一个标记，条件是考虑到前面的标记。例如，考虑以下句子：Alexa Wilkins 上周二去Salumeria吃午饭，因为评论说金枪鱼三明治很棒。一种预测性语言模型可能会建议这样的句子以减少打字。预测性语言模型可能会将三明治作为一个单词进行预测，作为紧接在金枪鱼一词之后的输入，同时还可能出现其他可能的单词，比如沙拉。 然而，如果生成式LM随机制造许多这类句子，那就会是错误的。根据本文的说法，即使在理想条件下，具有强大预测文本能力的语言模型也会产生幻觉。值得注意的是，在现今的 typic 的预训练初始步骤中，生成式LM是为了预测性文本表现而量身定制的。此外，它为幻觉率提供了一个下限，这可能揭示了不同类型事实应该产生幻觉的各种速率。上述例子和可能的参考资料（被研究小组称为5W=谁-吃了什么-何时-哪里-为什么事实）共同拥有的特点是它们都是任意的，即这些事实大部分无法依据规则进行系统认证；也就是说，大部分这些事实无法验证，因为它们不包含在训练数据中。 与可以经过系统认证的事实相对。即使在具有多个理想条件的简化情况下，研究小组也能估算出LM应该产生的幻觉数量。研究小组更喜欢简单而非普遍性，因为他们的下界是统计的，他们的目标是确定LM产生幻觉的潜在源头。他们提出了一种校准到生成模型的自然扩展。他们的想法与LM中先前的校准应用不同，之前的校准是基于标记级别的。由于每个事实可以用各种方式使用自然语言来描述，当评估原始标记概率时，校准标记概率只有在评估原始标记概率时才有用。相反，他们的语义级校准是考虑到文本中信息（事实或幻觉）的位分布。如果LM在概率a ≈ z的情况下，对应于该概率z ∈ [0, 1]中的任何给定概率z的信息在自然出现的语言的一部分中平均出现，则该LM被认为是校准的（最好是从训练数据收集的分布）。…

<img alt=”” src=”https://ai.miximages.com/www.marktechpost.com/wp-content/uploads/2023/12/Screenshot-2023-12-05-at-3.51.10-PM-1024×594.png”/><img alt=”” src=”https://ai.miximages.com/www.marktechpost.com/wp-content/uploads/2023/12/Screenshot-2023-12-05-at-3.51.10-PM-150×150.png”/><p>上海人工智能实验室和MIT CSAI的研究人员开发了层次化门控循环神经网络（HGRN）技术，它通过将遗忘门加入线性RNN中，解决了增强序列建模的挑战。其目的是使上层能够捕捉长期依赖关系，同时允许下层专注于短期依赖关系，特别是处理非常长的序列时。</p><p>该研究探讨了Transformers在序列建模中的优势，由于并行训练和长期依赖能力，但同时也注意到了使用线性RNN进行高效序列建模的兴趣再度增加，强调了遗忘门的重要性。它考虑了线性递归和长卷积作为处理长序列的自注意力模块的替代方法，并强调了长卷积中的挑战。论文还探讨了RNN在建模长期依赖性和使用门控机制方面的局限性。</p><p>序列建模在自然语言处理、时间序列分析、计算机视觉和音频处理等各个领域都至关重要。在Transformers问世之前，RNN经常被使用，但面临训练速度慢和建模长期依赖关系的挑战。Transformers在并行训练方面表现出色，但对于长序列具有二次时间复杂度。</p><p>该研究提出了用于高效序列建模的HGRN模型，由具有令牌和通道混合模块的堆叠层组成。线性递归层中的遗忘门使得上层能够建模长期依赖性，而下层能够建模局部依赖性。令牌混合模块采用了受状态空间模型启发的输出门和投影。门控机制和动态衰减率解决了梯度消失问题。在语言建模、图像分类和长距离基准测试中的评估结果表明了HGRN的高效性和有效性。</p><p>所提出的HGRN模型在自回归语言建模、图像分类和长距离基准测试中表现出色。在语言任务中，它优于高效变体的原始Transformer、基于多层感知机和基于RNN的方法，与原始Transformer的性能相当。在常识推理和Super GLUE等任务中，它在使用更少令牌的情况下与基于Transformer的模型相匹配。HGRN在处理长期依赖性方面在长距离基准测试中取得了有竞争力的结果。在ImageNet-1K图像分类中，HGRN优于先前的方法（如TNN和原始Transformer）。</p><p>总之，HGRN模型在各种任务和模态中都证明了其高度有效性，包括语言建模、图像分类和长距离基准测试。其使用遗忘门以及对其值的下界设置使得对长期依赖关系的高效建模成为可能。在语言任务中，HGRN优于变体的原始Transformer、基于多层感知机和基于RNN的方法，并在ImageNet-1K图像分类中表现出色，超过了TNN和原始Transformer等方法。</p><p>HGRN模型的未来发展方向包括在各个领域和任务中进行广泛的探索，以评估其泛化能力和有效性。研究不同超参数和架构变化的影响旨在优化模型的设计。通过评估额外的基准数据集并与最先进的模型进行比较，可以进一步验证其性能。将探索辅助注意力或其他门控机制等潜在改进方法，以增强对长期依赖关系的捕捉。将研究更长序列的可扩展性以及并行扫描实现的益处。对可解释性的进一步分析旨在深入了解决策过程并提高透明度。</p>

多模态预训练的进展解决了各种任务，如LXMERT、UNITER、VinVL、Oscar、VilBert和VLP等模型。FLAN-T5、Vicuna、LLaVA等模型增强了遵循指令的能力。而Flamingo、OpenFlamingo、Otter和MetaVL等模型则探索了上下文学习。VQA等基准注重感知，而MMMU则通过对要求专家级知识和有意识的推理的大学级问题的需求而脱颖而出。其独特的特点包括全面的知识覆盖、各种图像格式以及对专题特定推理的独特强调，使其与现有的基准相区别。 MMMU基准由来自IN.AI Research、滑铁卢大学、俄亥俄州立大学、独立研究机构、卡内基梅隆大学、维多利亚大学和普林斯顿大学的研究人员推出，涵盖了各种学科的大学级问题。强调专家级感知和推理，它是一个暴露现有模型面临重大挑战的基准。 该研究强调了评估朝着专家级人工智能发展取得进展的基准的必要性，超越了人类能力。目前的标准，如MMLU和AGIEval，侧重于文本，需要更多的多模态挑战。大型多模态模型（LMMs）显示出潜力，但现有的基准需要专家级领域知识。MMMU基准的引入旨在弥合这一鸿沟，涵盖了复杂的大学级问题，包括各种图像类型和交织的文本。它要求专家级感知和推理，为追求高级人工智能能力的LMMs提供了具有挑战性的评估。 专为评估专家级人工智能而设计的MMMU基准包含11,500个涵盖六个学科和30个主题的大学级问题。数据收集涉及根据视觉输入选择主题，参与学生标注者收集多模态问题，并进行质量控制。多个模型，包括LMM和LMMs，以零-shot的方式在MMMU上进行评估，测试它们在无微调或少量示范的情况下生成精确答案的能力。 MMMU基准对模型来说是具有挑战性的，因为GPT-4V的准确率仅为55.7%，表明还有很大的改进空间。专家级感知和推理需求使其成为LMMs和LMMs的严格评估。错误分析指出了视觉感知、知识表示、推理和多模态理解的挑战，为进一步研究提供了方向。MMMU以30种不同的图像格式覆盖大学级知识，强调了在基础模型中丰富培训数据集以增强在专门领域中的准确性和适用性的重要性。 总之，创建MMMU基准代表了对专家级人工智能评估中的LMMs的重大进展。这个基准挑战了当前模型对基本感知能力和复杂推理的评估，有助于了解专家级人工智能发展的进展。它强调了专家级性能和推理能力，突出了在视觉感知、知识表示、推理和多模态理解方面进一步研究的领域。建议通过丰富培训数据集与领域相关的知识，以提高准确性和在专门领域中的适用性。

将以下HTML代码翻译成中文（保留HTML代码）： 大型语言模型（LLM）是用于自然语言处理任务的人工智能模型。这些模型经过大规模的数据集训练，能够理解和生成人类般的文本。它们通过理解和生成人类般的文本，改变了自然语言处理的方式。在生活中各个领域都具有实用性。 加州大学伯克利分校的研究人员推出了一个名为Starling-7B的开放大型语言模型（LLM），该模型通过基于强化学习的人工智能反馈（RLAIF）进行训练。该模型利用我们最近开发的奖励训练和策略调整管道、我们的新GPT-4标记分类数据集（Nectar）以及先进的奖励训练和策略调整管道。 https://starling.cs.berkeley.edu/ Starling-7B的基础是GPT-4标记分类数据集（Nectar）。该数据集包含183,000条聊天提示，每个提示提供了来自不同模型（如GPT-4、GPT-3.5-instruct、GPT-3.5-turbo、Mistral-7B-Instruct和Llama2-7B）的七个回复，共计380万个配对比较。为了确保公正性，在提示GPT-4进行排名时，研究人员付出了相当大的努力来减小位置偏差，这个过程在数据集部分详细说明。 https://huggingface.co/berkeley-nest/Starling-LM-7B-alpha 他们使用了一个学习奖励模型来改进Openchat 3.5语言模型，并取得了令人印象深刻的结果。AlpacaEval得分从88.51%增加到91.99%，而MT-Bench得分从7.81增加到8.09。这些度量标准作为评估聊天机器人有多实用的标准。 研究人员使用直接优化偏好（DPO）将该模型与早期的开源模型（如Zephyra-7B、Neural-Chat-7B和Tulu-2-DPO-70B）进行了测试。虽然这些模型在聊天机器人领域表现良好，但与顶级SFT模型（如OpenHermes 2.5和Openchat 3.5在MT Bench中）相比，它们可能没有充分发挥RLHF的潜力。 研究人员强调该模型存在一定的挑战。它容易受到欺骗或操纵方法的影响。此外，模型在处理数学或推理任务时存在困难，并且其输出的事实准确性只能有时保证。他们还指出，模型偶尔会过于冗长，容易被越狱提示所影响。他们表示，依然致力于改进Starling-7B的这些缺陷。 为了解决这个问题，他们提出通过利用基于规则的奖励模型来进一步改进该模型，其中GPT-4作为指导，使用GPT-4技术报告中概述的技术。 总之，Starling-7B代表了LLM的重大进展，展示了通过人工智能反馈进行强化学习的可能性。自然语言处理领域正在因这些模型与社区共享的知识的合作而得到增强。研究人员正在努力改进模型的性能并解决这些限制。 本文来源：加州大学伯克利分校研究人员介绍Starling-7B：一种基于强化学习的开放大型语言模型（LLM） ，首发于MarkTechPost。

微软研究人员解决了提高GPT-4在回答医疗问题方面的能力的挑战，无需特定领域的培训。他们引入了Medprompt，采用不同的提示策略来提高GPT-4的性能。目标是在MultiMedQA套件的所有九个基准上实现最先进的结果。 这项研究继承了关于GPT-4的医疗能力的先前研究，特别是BioGPT和Med-PaLM，通过系统地探索提示工程来提高性能。 Medprompt的多样性在各个领域得到证明，包括电子工程、机器学习、哲学、会计、法律、护理和临床心理学。 该研究探索了AI创建通用问题解决的计算智能原则的目标。它强调了GPT-3和GPT-4等基础模型的成功，在没有专门的培训的情况下，展示了它们在各种任务中的出色能力。这些模型采用了从大规模网络数据中广泛学习的文本到文本的范例。性能指标，如下一个词的预测准确性，随着训练数据、模型参数和计算资源的规模增加而提高。基础模型展示了可扩展的问题解决能力，表明它们在各个领域具有潜力。 该研究系统地探索了提示工程来提高GPT-4在医学挑战中的性能。仔细的实验设计缓解了过度拟合问题，采用了类似传统机器学习的测试方法学。 Medprompt通过使用有关眼睛和无眼睛的划分对MultiMedQA数据集进行评估，表明它对未见问题的鲁棒泛化性。该研究还检查了在增加计算负载下的性能，并将GPT-4的CoT原理与Med-PaLM 2进行了比较，揭示了生成输出中更长更详细的推理逻辑。 Medprompt改善了GPT-4在医疗问题回答数据集上的性能，实现了MultiMedQA中的现有结果，并超过了像Med-PaLM 2这样的专家模型，同时减少了调用次数。通过Medprompt，GPT-4在MedQA数据集上的错误率减少了27％，首次达到90％分数。 Medprompt的技术，包括动态少样本选择、自动生成的思维链和选择混洗集成，可以应用在医学以外的领域，以提高GPT-4的性能。严格的实验设计确保减少过度拟合的问题。 总之，Medprompt在医学问题回答数据集上表现出色，超过MultiMedQA并在各个领域展示了适应性。该研究强调了对于避免过度拟合的眼睛外评估的重要性，并建议进一步探索提示工程和微调，以利用基础模型在关键领域如医疗保健中的应用。 在未来的工作中，重要的是改进提示和基础模型的能力，将少量样本示例整合到提示中。提示工程和微调在高风险领域，如医疗保健中，存在协同效应的潜力，应该探索快速工程和微调作为关键研究领域。博弈论Shapley值可用于给予消融研究中的信用分配，并需要进一步研究来计算Shapley值并分析其在此类研究中的应用。

自动语音翻译的新功能和改进使我们能够完成更多任务，涵盖更多语言，并且能够处理更多输入格式。然而，相较于人际交流，目前大规模自动语音翻译系统缺少使机器中介沟通自然的关键能力。 Meta AI的一项新研究提出了一系列模型，可以实现从头到尾的表达和多语言翻译。研究人员首先提出了SeamlessM4T v2，这是SeamlessM4T模型的升级版本，它是多模态的，支持几乎所有语言。这个改进的模型使用了更近期版本的UnitY2框架，其训练使用了资源较少的语言数据。通过扩展SeamlessAlign，将自动对齐了76种语言的数据，总计114,800小时。最近的两个模型，即SeamlessExpressive和SeamlessStreaming，基于SeamlessM4T v2。使用SeamlessExpressive，用户可以在保留所有语调和风格的同时进行翻译。 Meta的研究保留了用户声音的风格，同时解决了韵律（prosody）的一些尚未充分研究的特征，例如说话速度和停顿，这些特征在以前的表达性语音研究尝试中被忽视了。关于SeamlessStreaming，该提议模型不需要等待源话语完全结束才能生成延迟较低的目标翻译，而是使用了效率高的单调多头注意力（EMMA）技术。利用SeamlessStreaming，可以同时完成多种源语言和目标语言的语音转文本翻译。 团队根据一组新的和更新的现有自动度量标准来评估这些模型的韵律、延迟和稳定性。为进行人工评估，他们修改了现有的协议，以衡量对于意思保留、真实性和表达力最重要的品质。他们对性别偏见进行了全面评估，这是已知的第一个为多模态机器翻译进行红队评估的努力，也是第一个已知的检测和缓解毒性添加的系统，并使用不可听见的本地水印技术来缓解深度伪造的影响，以确保他们的模型能够负责任且安全地使用。 Seamless是第一个公开可用的能够实现表达性跨语言实时交流的系统。它结合了SeamlessExpressive和SeamlessStreaming，汇集了各个重要组成部分。总体而言，Seamless为我们提供了转变通用语音翻译器从科幻理念变为现实所需的基础技术的关键洞察。 研究人员强调，模型的准确性可能会因性别、种族或口音而有所不同，尽管我们在各种公平性角度上对我们的凭据进行了彻底测试，并在可行的情况下加入了安全保障。进一步的研究应该继续努力提高语言覆盖范围，并缩小低资源语言和高资源语言之间的性能差距，以实现通用语音翻译器。