四海吧 Posts

<img src=”https://www.marktechpost.com/wp-content/uploads/2023/08/Screenshot-2023-08-17-at-2.47.58-AM-1024×671.png”/><img src=”https://www.marktechpost.com/wp-content/uploads/2023/08/Screenshot-2023-08-17-at-2.47.58-AM-150×150.png”/><p>已经证明，通过指令（指令调整）提供的各种语言任务的微调可以提高大型语言模型（LLM）的可用性和整体性能。通过视觉、听觉和多语言数据训练的模型都在指令调整范式中表现良好。 <p>研究人员通过教授研究人员如何编码来教授代码学习机器。间接指导代码LLM通过代码注释生成所需的代码是可能的，但这个过程是脆弱的，并且在期望的结果是自然语言时会失败。通过明确的指导调整可以提高代码LLM的可操控性，并拓宽其适用范围。 <p>研究人员更倾向于使用开源模型来生成合成数据，并避免使用限制性许可的数据。他们比较了四个常见的代码指令数据库： <ul> <li>xP3x，它汇编了广泛使用的代码基准的结果</li> <li>松散的代码LLM使学者能够生成独立的数据。</li> <li>OASST主要是一个具有最少编码示例的语言信息库。</li> <li>全新的4TB Git提交宝库，被称为COMMITPACK。</li> </ul><p><strong>研究人员的贡献</strong></p><ul> <li>对于预训练，您可以访问350种不同编程语言下以宽松许可证发布的4TB代码提交；调整使您可以访问包含高质量代码指令的COMMITPACK的筛选变体。</li> <li>六种编程语言（Python、JavaScript、Java、Go、C++和Rust）和三种场景（代码修复、代码解释和代码合成）的代码LLM泛化基准（HUMANEVALPACK）。</li> <li>最宽松的代码LLM是OCTOCODER和OCTOGEEX。 </li> </ul><p>研究人员使用GitHub提交的操作转储作为数据集的基础。为了确保提交消息非常具体，并避免处理许多文件带来的额外复杂性，他们使用了多个质量过滤器，过滤了商业友好的许可证，并删除了影响多个文件的所有提交。在提交之前和之后使用过滤信息提取受影响的GitHub源代码文件。 <p>对于需要自然语言（NL）响应的任务，指令调整LLM的输入是一个带有可选NL上下文的NL指令。当使用代码数据进行调整指令时，代码可以仅包含在输入中，仅包含在输出中，或同时包含在输入和输出中，与NL指令一起。尽管大多数现有基准重点关注代码合成变体，但客户可能希望在所有三种情况下使用模型。因此，六种语言的三个输入输出排列现在包含在代码合成基准HumanEval中。 <p>在所有三种评估情况下，OCTOCODER在所有其他宽松模型中表现出显著的优势。OCTOGEEX是经过基准测试的模型中参数最少的，仅有60亿个，但在与其他宽松代码LLM进行比较时仍然表现出最佳结果。与其他模型相比，GPT-4具有最高的性能。尽管它可能是较其他模型更大的模型，但GPT-4是闭源的。 <p>可以在https://github.com/bigcode-project/octopack找到所需的所有内容，包括代码、模型和数据。  <p>总之，大型语言模型（LLMs）通过在指令上进行微调，可以在各种自然语言任务上表现更好。研究人员使用编码来对人类指导进行微调，利用Git提交的固有结构将代码更改与人类指导相匹配。350种不同语言的4TB Git提交被编译到COMMITPACK中。对于具有16B参数的StarCoder模型，他们将COMMITPACK与其他自然和合成代码指令进行了比较。在HumanEval Python测试中，他们在没有训练OpenAI输出的模型中达到了最先进的性能。此外，他们还提供了HUMANEVALPACK，它为六种额外的编程语言（Python、JavaScript、Java、Go、C++和Rust）和三个新的编码任务（代码修复、代码解释和代码合成）添加了支持，以扩展HumanEval基准的功能。模型OCTOCODER和OCTOGEEX在HUMANEVALPACK中的所有可允许模型中都表现出了COMMITPACK的优势。</p>

类比推理是人类智能和独创性的基石。当面对一个陌生的挑战时，人们经常通过系统地将其与一个更熟悉的场景进行比较来找出可行的解决方案。这种方法在人类的思维中扮演着重要的角色，涵盖了从解决日常问题到培养创造性概念和推动科学发现边界的各种活动。 随着深度学习和大型语言模型（LLMs）的进步，人们对LLMs进行了广泛的类比推理测试和研究。先进的语言模型具有独立推理和抽象模式识别的能力，成为人类智能的基本原则。 由加州大学洛杉矶分校的研究团队进行的一项研究揭示了LLMs的真正能力。这项研究因其有影响力的发现而获得了显着的认可。这些发现被收录在最新一期的《自然人类行为》杂志中，文章标题为“高级语言模型中的类比推理的出现”。该研究表明，大型语言模型（LLMs）能够像人类一样思考，而不是基于统计数据来模仿我们的思维。 该研究对人类推理者和强大的语言模型（text-davinci-003，即GPT-3的一个版本）在各种类比任务中进行了对比评估。 研究人员通过不预先训练的方式，对语言模型GPT-3进行了各种类比任务的检验，并与人类的回答进行了直接比较。这些任务涉及了一个独特的基于文本的矩阵推理挑战，从雷文标准渐进矩阵（SPM）的规则结构中汲取灵感。此外，他们还进行了一个视觉类比任务。 模型的起点是在一个海量的基于网络的真实语言数据集上进行训练的基础版本，总共超过4000亿个标记。这个训练过程是通过下一个标记预测目标来引导的，模型学会了在给定的文本序列中预测最有可能的下一个标记。 这个评估包括四个不同的任务类别，每个任务类别都经过策略性的设计，以探索类比推理的各个方面： 基于文本的矩阵推理挑战 字母串类比 四项词语类比 故事类比 在这些领域中，他们直接比较了模型的表现与人类的表现，研究了整体效果和错误模式，类似于人类进行类比推理的方式。 GPT-3在把握抽象模式方面表现出色，往往在各种情景下与人类表现相当甚至更好。GPT-4的早期试验似乎显示出更有希望的结果。从已经观察到的情况来看，像GPT-3这样的大型语言模型似乎有一种自发地解决各种类比难题的能力。 此外，他们发现text-davinci-003在类比任务中表现出色。有趣的是，早期的模型版本在某些任务场景中也表现出色，暗示了一些因素的融合增强了text-davinci-003在类比推理方面的能力。 GPT-3在处理字母串类比、四项词语类比以及在故事中发现类比的能力方面展示了一些令人印象深刻的技能，而没有进行预先训练。这些发现有助于扩大对这些先进语言模型能力的认识，暗示着更先进的模型已经具备了通过类比进行推理的内置能力。

Tabnine，由人工智能驱动的代码补全工具，推出了其套件的一个新功能：Tabnine聊天，处于其测试版。它是一个企业级的、以代码为中心的代码应用，可以与开发人员的集成开发环境（IDE）无缝集成。该应用程序通过使用可解释的现有代码、搜索代码仓库并根据自然语言规范生成新代码，扩展了其功能。 Tabnine Chat的一个关键亮点是其对安全性和合规性的高度关注。 该功能适应了各种企业需求，保护私有代码库、可允许的开源代码和堆栈溢出查询。模型仅在具有许可证的开源代码上进行了训练，消除了对代码库信息的担忧。 Tabnine聊天的前端是一个嵌入在Web视图中的React应用程序，目前可在VS code和JetBrains IDE中使用，并支持所有编程语言。 它具有几个重要特点： 安全性和合规性：Tabnine环境确保了代码的完全私密性和安全性。通过使用虚拟私有云或本地设置，它们提供了隔离的部署环境，优先考虑安全性和机密性。 上下文集成：Tabnine聊天在IDE内运行，从而与开发人员的正在进行的代码集成。 仓库集成：Tabnine企业用户可以将其仓库链接到此应用程序。拥有大量内部API、库和服务的组织可以通过将内部仓库连接到Tabnine Chat来提高生产力。 随着Tabnine Chat的测试阶段的到来，开发人员正处于编码转变的边缘。在开发者与人工智能之间的不断发展的旅程中，Tabnine Chat作为一个能够实现开发者与代码之间无缝对话的先驱脱颖而出。在不久的将来，Tabnine企业版和专业版用户将迎来更广泛的扩展，对于先进的编码交互产生了兴奋。