四海吧 Posts

伊利诺伊大学厄巴纳香槟分校和清华大学的研究团队旨在通过引入Magicoder来解决从开源代码片段生成低偏差、高质量编码挑战的难题。Magicoder在各种编码基准测试中表现优于现有的语言模型，包括Python文本转代码生成、多语言编码和数据科学程序语言模型。 CodeGen、CodeT5、StarCoder和CODELLAMA等知名基础模型已经证明了语言模型在代码生成和理解方面的基本能力。指令微调的提出旨在通过使用指令-响应对来对预训练的语言模型进行微调，SELF-INSTRUCT和Evol-Instruct等方法则用于生成指令微调的合成数据。现有的代码基准测试，如HumanEval、MBPP、APPS和CodeContests，评估语言模型在从自然语言描述中开发单功能程序方面的能力。 Magicoder是一系列完全开源的用于代码的语言模型，使用OSS-INSTRUCT方法在75,000个合成指令数据上进行训练，该方法使用开源代码片段启发语言模型生成高质量的代码指令数据。该方法通过从GitHub获取种子代码片段，促使语言模型生成与种子代码相关的编码问题和解决方案，确保多样性和真实世界的相关性。评估使用HumanEval和MBPP等基准测试，重点关注pass1指标。使用INSTRUCTOR根据嵌入相似性对由OSS-INSTRUCT生成的数据进行分类。为了提高鲁棒性，采用了数据清洗技术，包括净化和提示过滤。 Magicoder以不超过70亿的适度参数量展现了与顶级代码模型竞争性能。使用OSS-INSTRUCT在75,000个合成指令数据上进行训练，Magicoder在Python文本转代码生成、多语言编码和数据科学程序语言建模方面超越了先进的代码模型。增强版MagicoderS进一步改进了代码生成性能，在各种基准测试中超过了类似或更大尺寸的其他模型。 MagicoderS-CL-7B在代码模型中同时实现了前沿结果，展示了强大和优越的代码生成能力。 总之，该研究突出了使用OSS-INSTRUCT的有效性，该方法利用语言模型从开源代码片段中生成编码挑战。经过OSS-INSTRUCT训练的Magicoder在不同的编码基准测试中比其他参数更大的语言模型表现更好。此外，当与Evol-Instruct结合时，它还增强了MagicoderS模型，在HumanEval基准测试中表现出与ChatGPT等领先模型相似的令人印象深刻的性能。该研究建议公开模型权重、训练数据和源代码，以支持未来对于代码的语言模型和扩展OSS-INSTRUCT到更大的基础模型以生成更高质量数据的研究工作。

人工智能（AI）和机器学习（ML）的能力使它们成功地进入了各个行业。最近，随着大型语言模型（LLMs）和问答系统的引入，AI社区取得了很大的进展。从预先计算好的包含问题-答案配对的数据库中高效地检索响应是自动问答（QA）系统的常见步骤。 有两种主要的QA范例：开放式和闭塞式。开放式范例，或称为取阅和阅读，是一个两步骤过程，其中相关材料是从庞大的文档语料库（经常是互联网）中获得的，然后通过应用不同的模型和方法从已获得的材料中提取解决方案。另一方面，闭塞式方法较新，依赖于在训练中学习的技能，这些使用该范例的模型通常基于Seq2Seq模型如T5，可以在不使用外部语料库的情况下产生结果。 虽然闭塞式技术显示出了显着的结果，但对于许多工业应用来说，资源消耗太大，并对系统性能构成重大风险。数据库问答（DBQA）是一种从预先生成的问题-答案对数据库中检索响应而不是依赖于模型参数或大型语料库中的信息的方法。 这些系统的三个主要部分是问题和答案的数据库、查询数据库的检索模型和选择最佳答案的排名模型。DBQA技术能够进行快速的推理，并具备添加新对并避免重新训练模型的能力，从而引入新的信息。 数据库问答技术的检索和排名模型开发的主要问题之一是缺乏实质性的训练数据。现有资源在范围和内容方面还不足，因为其中很多需要改进注释过程的质量或只关注问题之间的相似性，忽视了答复。 为了克服这些挑战，一组研究人员提出了一个名为QUADRo的问题-答案数据库检索数据集和模型。这是一个新的、面向开放域的注释资源，专门用于训练和评估模型。这个资源中每一个15,211个输入问题都有30个相关问题-答案对。这个收集总共有443,000个标注样本。每对的二进制指示器标记了它在与输入查询的关系中的重要性。 该团队还进行了全面的实验，以评估该资源与几个重要QA系统组件的质量和特性的关系。这些组件包括训练方法、输入模型配置和答案的相关性。通过对在该数据集上训练的模型的行为和性能进行检查，实验证明了所建议的方法在检索相关响应方面的效果。 总之，该研究通过引入一种有用的资源并仔细评估该资源的属性，解决了自动质量保证系统中训练和测试数据的不足。重视培训策略和答案相关性等重要元素有助于对该资源的全面了解。