Tag: Technology

人工智能（AI）系统在引入大型语言模型（LLM）后取得了显著的进展。由OpenAI发布的ChatGPT、Google发布的Bard和Llama-2等领先的LLM在进行创新应用方面展示了卓越的能力，包括帮助工具使用和增强人类评估，以及模拟人类的互动行为。这些LLM的广泛部署得益于它们的非凡能力，但这也带来了确保其响应的安全性和可靠性的重大挑战。 在非自然语言，特别是密码方面，最近团队的一项研究引入了几个重要的贡献，推动了对LLM的理解和应用的进一步发展。这些创新旨在提高LLM在特定语言环境下交互的可靠性和安全性。 该团队推出了CipherChat，这是一个专门创建的框架，旨在评估从自然语言领域到非自然语言领域的安全对齐方法的适用性。在CipherChat中，人类通过基于密码的提示、详细的系统角色分配和简洁的加密演示与LLM进行交互。这种架构确保了对LLM对密码的理解、对对话的参与以及对不适当内容的敏感性进行全面的检查。 这项研究强调了在处理非自然语言（如密码）时，即使是LLM也需要创建安全对齐方法，以成功匹配底层LLM的能力的重要性。虽然LLM在理解和产生人类语言方面表现出非凡的技能，但研究表明它们也展示了在理解非自然语言方面的意外能力。这些信息突显了开发涵盖这些非传统沟通形式以及传统语言学范畴内的安全规定的重要性。 使用各种现实人类密码对现代LLM（如ChatGPT和GPT-4）进行了一系列实验，以评估CipherChat的表现。这些评估涵盖了11个不同的安全主题，并提供中英文版本。研究结果指出了一个令人震惊的模式，即某些密码能够成功绕过GPT-4的安全对齐程序，在一些安全领域几乎100%的成功率。这一实证结果强调了为非自然语言（如密码）创建定制的安全对齐机制以确保LLM在各种语言环境中的回答的稳健性和可靠性的紧迫性。 该团队表示，该研究揭示了LLM内存在秘密密码的现象。与其他语言模型中观察到的秘密语言概念相类似，该团队假设LLM可能具有解密某些编码输入的潜在能力，从而暗示了一种独特的与密码相关的能力的存在。 基于这一观察，引入了一种名为SelfCipher的独特有效的框架，它仅依靠角色扮演场景和少量自然语言演示来调用和激活LLM内部的潜在秘密密码能力。SelfCipher的有效性展示了利用这些隐藏的能力来增强LLM在解密编码输入和生成有意义的回应方面的潜力。

<img src=”https://www.marktechpost.com/wp-content/uploads/2023/08/Screenshot-2023-08-17-at-2.47.58-AM-1024×671.png”/><img src=”https://www.marktechpost.com/wp-content/uploads/2023/08/Screenshot-2023-08-17-at-2.47.58-AM-150×150.png”/><p>已经证明，通过指令（指令调整）提供的各种语言任务的微调可以提高大型语言模型（LLM）的可用性和整体性能。通过视觉、听觉和多语言数据训练的模型都在指令调整范式中表现良好。 <p>研究人员通过教授研究人员如何编码来教授代码学习机器。间接指导代码LLM通过代码注释生成所需的代码是可能的，但这个过程是脆弱的，并且在期望的结果是自然语言时会失败。通过明确的指导调整可以提高代码LLM的可操控性，并拓宽其适用范围。 <p>研究人员更倾向于使用开源模型来生成合成数据，并避免使用限制性许可的数据。他们比较了四个常见的代码指令数据库： <ul> <li>xP3x，它汇编了广泛使用的代码基准的结果</li> <li>松散的代码LLM使学者能够生成独立的数据。</li> <li>OASST主要是一个具有最少编码示例的语言信息库。</li> <li>全新的4TB Git提交宝库，被称为COMMITPACK。</li> </ul><p><strong>研究人员的贡献</strong></p><ul> <li>对于预训练，您可以访问350种不同编程语言下以宽松许可证发布的4TB代码提交；调整使您可以访问包含高质量代码指令的COMMITPACK的筛选变体。</li> <li>六种编程语言（Python、JavaScript、Java、Go、C++和Rust）和三种场景（代码修复、代码解释和代码合成）的代码LLM泛化基准（HUMANEVALPACK）。</li> <li>最宽松的代码LLM是OCTOCODER和OCTOGEEX。 </li> </ul><p>研究人员使用GitHub提交的操作转储作为数据集的基础。为了确保提交消息非常具体，并避免处理许多文件带来的额外复杂性，他们使用了多个质量过滤器，过滤了商业友好的许可证，并删除了影响多个文件的所有提交。在提交之前和之后使用过滤信息提取受影响的GitHub源代码文件。 <p>对于需要自然语言（NL）响应的任务，指令调整LLM的输入是一个带有可选NL上下文的NL指令。当使用代码数据进行调整指令时，代码可以仅包含在输入中，仅包含在输出中，或同时包含在输入和输出中，与NL指令一起。尽管大多数现有基准重点关注代码合成变体，但客户可能希望在所有三种情况下使用模型。因此，六种语言的三个输入输出排列现在包含在代码合成基准HumanEval中。 <p>在所有三种评估情况下，OCTOCODER在所有其他宽松模型中表现出显著的优势。OCTOGEEX是经过基准测试的模型中参数最少的，仅有60亿个，但在与其他宽松代码LLM进行比较时仍然表现出最佳结果。与其他模型相比，GPT-4具有最高的性能。尽管它可能是较其他模型更大的模型，但GPT-4是闭源的。 <p>可以在https://github.com/bigcode-project/octopack找到所需的所有内容，包括代码、模型和数据。  <p>总之，大型语言模型（LLMs）通过在指令上进行微调，可以在各种自然语言任务上表现更好。研究人员使用编码来对人类指导进行微调，利用Git提交的固有结构将代码更改与人类指导相匹配。350种不同语言的4TB Git提交被编译到COMMITPACK中。对于具有16B参数的StarCoder模型，他们将COMMITPACK与其他自然和合成代码指令进行了比较。在HumanEval Python测试中，他们在没有训练OpenAI输出的模型中达到了最先进的性能。此外，他们还提供了HUMANEVALPACK，它为六种额外的编程语言（Python、JavaScript、Java、Go、C++和Rust）和三个新的编码任务（代码修复、代码解释和代码合成）添加了支持，以扩展HumanEval基准的功能。模型OCTOCODER和OCTOGEEX在HUMANEVALPACK中的所有可允许模型中都表现出了COMMITPACK的优势。</p>

类比推理是人类智能和独创性的基石。当面对一个陌生的挑战时，人们经常通过系统地将其与一个更熟悉的场景进行比较来找出可行的解决方案。这种方法在人类的思维中扮演着重要的角色，涵盖了从解决日常问题到培养创造性概念和推动科学发现边界的各种活动。 随着深度学习和大型语言模型（LLMs）的进步，人们对LLMs进行了广泛的类比推理测试和研究。先进的语言模型具有独立推理和抽象模式识别的能力，成为人类智能的基本原则。 由加州大学洛杉矶分校的研究团队进行的一项研究揭示了LLMs的真正能力。这项研究因其有影响力的发现而获得了显着的认可。这些发现被收录在最新一期的《自然人类行为》杂志中，文章标题为“高级语言模型中的类比推理的出现”。该研究表明，大型语言模型（LLMs）能够像人类一样思考，而不是基于统计数据来模仿我们的思维。 该研究对人类推理者和强大的语言模型（text-davinci-003，即GPT-3的一个版本）在各种类比任务中进行了对比评估。 研究人员通过不预先训练的方式，对语言模型GPT-3进行了各种类比任务的检验，并与人类的回答进行了直接比较。这些任务涉及了一个独特的基于文本的矩阵推理挑战，从雷文标准渐进矩阵（SPM）的规则结构中汲取灵感。此外，他们还进行了一个视觉类比任务。 模型的起点是在一个海量的基于网络的真实语言数据集上进行训练的基础版本，总共超过4000亿个标记。这个训练过程是通过下一个标记预测目标来引导的，模型学会了在给定的文本序列中预测最有可能的下一个标记。 这个评估包括四个不同的任务类别，每个任务类别都经过策略性的设计，以探索类比推理的各个方面： 基于文本的矩阵推理挑战 字母串类比 四项词语类比 故事类比 在这些领域中，他们直接比较了模型的表现与人类的表现，研究了整体效果和错误模式，类似于人类进行类比推理的方式。 GPT-3在把握抽象模式方面表现出色，往往在各种情景下与人类表现相当甚至更好。GPT-4的早期试验似乎显示出更有希望的结果。从已经观察到的情况来看，像GPT-3这样的大型语言模型似乎有一种自发地解决各种类比难题的能力。 此外，他们发现text-davinci-003在类比任务中表现出色。有趣的是，早期的模型版本在某些任务场景中也表现出色，暗示了一些因素的融合增强了text-davinci-003在类比推理方面的能力。 GPT-3在处理字母串类比、四项词语类比以及在故事中发现类比的能力方面展示了一些令人印象深刻的技能，而没有进行预先训练。这些发现有助于扩大对这些先进语言模型能力的认识，暗示着更先进的模型已经具备了通过类比进行推理的内置能力。

Tabnine，由人工智能驱动的代码补全工具，推出了其套件的一个新功能：Tabnine聊天，处于其测试版。它是一个企业级的、以代码为中心的代码应用，可以与开发人员的集成开发环境（IDE）无缝集成。该应用程序通过使用可解释的现有代码、搜索代码仓库并根据自然语言规范生成新代码，扩展了其功能。 Tabnine Chat的一个关键亮点是其对安全性和合规性的高度关注。 该功能适应了各种企业需求，保护私有代码库、可允许的开源代码和堆栈溢出查询。模型仅在具有许可证的开源代码上进行了训练，消除了对代码库信息的担忧。 Tabnine聊天的前端是一个嵌入在Web视图中的React应用程序，目前可在VS code和JetBrains IDE中使用，并支持所有编程语言。 它具有几个重要特点： 安全性和合规性：Tabnine环境确保了代码的完全私密性和安全性。通过使用虚拟私有云或本地设置，它们提供了隔离的部署环境，优先考虑安全性和机密性。 上下文集成：Tabnine聊天在IDE内运行，从而与开发人员的正在进行的代码集成。 仓库集成：Tabnine企业用户可以将其仓库链接到此应用程序。拥有大量内部API、库和服务的组织可以通过将内部仓库连接到Tabnine Chat来提高生产力。 随着Tabnine Chat的测试阶段的到来，开发人员正处于编码转变的边缘。在开发者与人工智能之间的不断发展的旅程中，Tabnine Chat作为一个能够实现开发者与代码之间无缝对话的先驱脱颖而出。在不久的将来，Tabnine企业版和专业版用户将迎来更广泛的扩展，对于先进的编码交互产生了兴奋。

大型语言模型（LLMs）展现出出色的泛化能力，如上下文学习和思维链推理。为了使LLMs能够遵循自然语言指令并完成现实世界的任务，研究人员一直在探索LLMs的指令调整方法。这是通过对模型进行微调，在各种函数上使用人工注释的提示和反馈或使用公共基准和数据集进行监督微调，以及手动或自动生成的指令进行数据增强。最近的研究强调了人工注释数据质量的重要性。然而，发现注释遵循此类质量数据集的指令很难扩展。 这个解决方案涉及到与LLM的自我对齐，即利用模型来改进自身，并使其响应与期望的行为（如模型编写的反馈、批评、解释等）保持一致。Meta AI的研究人员引入了自我对齐与指令反向翻译。基本思想是通过大型语言模型自动为Web文本标注相应的指令。 自训练方法假设可以访问基础语言模型、一组未标记的示例（例如Web语料库）和少量种子数据。这种方法的第一个关键假设是，这些大量人工编写的文本中的某些部分将对某些用户指令进行黄金生成。第二个假设是我们可以预测这些响应的指令，这可以用来使用高质量的示例对训练一个遵循指令的模型。 整个指令反向翻译可以分为以下步骤： 自我增强：为未标记的数据（即Web语料库）生成“好的指令”，以产生（指令，输出）对的训练数据，用于使用大型语言模型Meta AI（LLaMA）进行指令调整 自我创建：对使用LLaMA生成的数据进行评估 然后，使用改进的模型对LLaMA进行微调，并迭代该过程。结果训练的基于Llama的指令反向翻译模型被称为“Humpback”（因为鲸鱼相对于骆驼具有大规模的特性）。与Claude、Guanaco、Falcon-Instruct、LIMA等现有的非蒸馏模型相比，“Humpback”在Alpaca排行榜上表现出色。 当前方法的缺点是增强数据是从Web语料库中获取的，因此微调的模型可能会强调Web数据的偏见。总之，这种方法保证我们永远不会用尽训练数据，进一步为对大型语言模型进行指令跟随的微调提供了可靠的可扩展方法。未来的工作将通过考虑更大的未标记语料库来进一步扩展这种方法，这可能会带来进一步的收益。

“`html 近年来，大型语言模型（LLMs）在各种自然语言处理（NLP）、自然语言理解（NLU）和自然语言生成（NLG）任务中取得了惊人的成果。这些成功一直在各种基准测试中有所记录，并展示了在语言理解方面令人印象深刻的能力。从推理到突出不良和不一致的行为，LLMs已经取得了长足的进步。尽管LLMs已经取得了巨大的进步，但仍然存在一些不利和不一致的行为，这些行为削弱了它们的实用性，例如创建虚假但可信的材料、使用错误的逻辑以及创建有毒或有害的输出。 克服这些限制的一个可能方法是自我校正的思想，即鼓励或引导LLM修复其自身生成的信息中的问题。最近，使用自动化反馈机制的方法，无论是来自LLM本身还是其他系统，都引起了很大的兴趣。通过降低对大量人类反馈的依赖，这些技术有潜力提高基于LLM的解决方案的可行性和实用性。 通过自我校正的方法，模型通过自动生成的反馈信号进行迭代学习，了解其行为的影响，并根据需要改变其行为。自动化反馈可以来自各种来源，包括LLM本身、独立的反馈模型、外部工具以及维基百科或互联网等外部信息源。为了通过自动反馈来纠正LLMs，已经开发了一些技术，包括自我训练、生成-排序、反馈引导解码和迭代事后修订。这些方法在推理、代码生成和毒素检测等各种任务中取得了成功。 加利福尼亚大学圣塔芭芭拉分校的最新研究论文专注于对这一新兴方法群进行全面分析。该团队对许多使用这些策略的当代研究项目进行了深入研究和分类。校正训练时间、生成时间校正和事后校正是已经研究过的自我校正技术的三个主要类别。通过在模型的训练阶段接触输入，已经提高了校正训练时间中的模型。 该团队强调了这些自我校正技术取得成功的各种情景。这些程序涵盖了广泛的主题，如推理、代码生成和毒性检测。该论文通过提供对这些技术的广泛影响的洞察，突出了这些策略的实际意义和在各种环境中的应用潜力。 该团队分享了生成时间校正的内容，即在内容生成过程中根据实时反馈信号对输出进行精炼。事后校正涉及使用后续反馈对已经生成的内容进行修订，因此，这种分类有助于理解这些技术运作和改善LLM行为的微妙方式。随着自我校正程序领域的发展，存在改进和增长的机会，通过解决这些问题和改进这些方法，该领域可能会更进一步，从而导致LLMs及其在现实世界中的应用更加一致的行为。 “`

I had trouble accessing your link so I’m going to try to continue without it. 你有没有尝试在ChatGPT中用英语以外的语言提问？你可能会得到一个奇怪、无关的答案，因为这些模型通常对英语有偏见。如果LLMs可以在任何语言中工作，那不是更容易吗？ 中国国家重点实验室的新型软件技术研究人员提出了一种针对非英语语言的预训练LLM。由于预训练语料库和指令调整数据都是英文的，LLMs在非英语语言中的通常性能较差。可以通过持续使用大规模单语数据进行预训练来改善它。 研究人员通过翻译任务对LLMs进行指令调整，以改善两种语言之间的对应关系，并使用跨语言通用任务来提高指令的能力。他们使用LLaMA-7B作为他们的预训练LLM，并考虑了六种与英文字母类似的语言。LLaMA代表大型语言模型元AI。 对于每种语言，使用特定语言的数据获得一个x-LLaMA，然后与LLMs进行进一步比较。这种语言建模需要根据前缀序列预测下一个标记。它需要在大规模语料库和翻译数据上训练LLM。翻译数据是学习语义对齐最有用的资源之一，通过使用人工专家注释的翻译数据来进行指令调整，可以提高LLM的翻译性能。 研究人员使用公开可用的句级翻译数据集构建翻译任务指令数据。这使得他们的方法可扩展、可重复和可扩展到更多语言。他们发现将非英语文本排列在翻译数据的目标侧可以提高LLM在非英语任务上的性能，而不是将其放在源侧。 研究人员使用双语翻译性能作为了解语义对齐的参数。他们发现翻译任务指令数据的规模也极大地影响对齐。他们得出了一个关于翻译性能和数据规模的表达式，其呈指数形式的对数依赖关系。他们发现，与英语相同的语言相比，较不相似的语言需要更多的翻译数据来建立语义对齐。 为了比较x-LLaMA，研究人员设计了Alpaca-7B（一个LLaMA），它使用英语指令进行调整；Parrot-7B，它使用人工注释的翻译数据进行调整；以及Bayling-7B，它使用人工交互翻译进行调整。他们发现，在六种非英语语言中，x-LLaMA的性能优于Alpaca-7B的42.50%。x-LLaMA在非英语任务上的准确性与Alpaca-7B在英语任务上的准确性相同。 最后，这证明了跨语言指令调整是一种有效的方法。他们的方法和发现揭示了为非英语语言开发更强大的LLMs的潜力。