Tag: Technology

最近引入的大型语言模型（LLMs）已经在人工智能（AI）社区中引起了轰动。这些模型通过使用超强的自然语言处理（NLP）、自然语言生成（NLG）和自然语言理解（NLU）成功地模仿了人类。LLMs因为能够模仿人类进行真实对话而变得著名，它们能够回答简单和复杂的问题，生成内容，代码补全，机器翻译和文本摘要。NLP的目标是使计算机系统能够理解和响应以自然语言给出的命令，使人们能够以更自然和灵活的方式与它们互动，最好的例子就是指令跟随模型。 这些模型是使用LLMs、有监督的例子或其他类型的监督进行训练，并暴露在成千上万个以自然语言指令编写的任务中。在最近的研究中，来自麦吉尔大学Mila Quebec AI研究所、麦吉尔大学和Facebook CIFAR AI Chair的团队研究了评估指令跟随模型在给定一组文本段落上执行问答（QA）任务的性能。这些模型可以在提供描述任务、问题和由检索器检索到的相关文本段落的提示时回答问题，这些模型产生的响应被认为是自然和信息丰富的，有助于建立用户的信任和参与度。 这些模型可以通过仅向其输入添加检索到的文档和指令来自然而流畅地回答用户的查询。然而，这种额外的冗长使得传统的QA评估指标如完全匹配（EM）和F1分数难以有效地量化模型的性能。这是因为模型的响应可能包含更多细节，而参考答案忽略了这些细节，但仍然准确。为了解决这个问题，团队提供了两个评估指标衡量检索增强的质量保证（QA）中的指令跟随模型。 关于信息必要性、准确性：这个维度评估模型满足用户信息需求的能力。它关注的是生成的响应是否包含相关信息，即使它超出了直接在参考答案中提及的内容。 与所提供的信息的一致性：这个维度评估模型在所提供的知识中是否正确回答问题。一个真实的模型应该避免在呈现无关信息时回答问题，并在有关信息可用时给出准确的答案。 作者在三个不同的QA数据集上评估了几个最近的指令跟随模型：用于开放域QA的自然问题，用于多跳QA的HotpotQA，以及用于对话QA的TopiOCQA。他们手动分析了900个模型的响应，并将结果与不同的自动评估指标进行了比较，以评估准确性和忠实度。他们的研究表明，召回率（衡量参考答案中的标记在模型响应中的占比）与正确性的相关性比EM或F1分数等词汇重叠度量更强。与其他用于忠实度的标记重叠度量相比，K-Precision（模型答案标记在知识片段中存在的百分比）与人类判断更强相关。 总之，本研究旨在更全面地评估指令跟随模型在QA任务中的优势和劣势。该团队通过在GitHub存储库上提供他们的代码和数据，进一步推动了该领域的进展。

大型语言模型（LLMs）在自然语言处理（NLP）领域取得了显著进展。将多模态引入LLMs并将其转化为多模态大型语言模型（MLLMs），可以进行多模态感知和解释，这是一个合乎逻辑的步骤。作为人工通用智能（AGI）的可能步骤，MLLMs在感知（如存在、计数、位置、OCR）、常识推理和代码推理等各种多模态任务中展示出了令人惊讶的新技能。与LLMs和其他任务特定模型相比，MLLMs能够以更类似人类的视角看待环境，提供用户友好的交互界面，并具备更广泛的任务解决能力。 现有的以视觉为中心的MLLMs使用Q-former或基本投影层、预训练的LLMs、视觉编码器和额外的可学习模块。另一种范式是通过API将当前的视觉感知工具（如跟踪和分类）与LLMs相结合，构建一个无需训练的系统。早期在视频领域的一些研究使用了这种范式开发了视频MLLMs。然而，以往从未对基于长时间电影（持续时间超过一分钟）的模型或系统进行过任何研究，并且也没有设定衡量这些系统有效性的标准。 在这项研究中，浙江大学、华盛顿大学、微软亚洲研究院和香港大学的研究人员介绍了一种名为MovieChat的独特框架，用于解决长时间视频解释挑战，将视觉模型与LLMs结合起来。根据他们的说法，扩展视频理解的剩余困难包括计算困难、内存开销和长期时间关联。为了解决这个问题，他们提出了一种基于阿特金森-希夫林（Atkinson-Shiffrin）记忆模型的记忆系统，其中包括快速更新的短期记忆和紧凑持久的长期记忆。 这个独特的框架将视觉模型与LLMs结合起来，是第一个能够进行扩展视频理解任务的框架。该研究通过进行严格的定量评估和案例研究，评估了理解能力和推理成本的性能，并提出了一种记忆机制，以降低计算复杂性和内存成本，同时改善长期时间关联。该研究通过将巨大的语言模型与视频基础模型相结合，提出了一种新颖的理解视频的方法。 该系统通过包含一个受阿特金森-希夫林模型启发的记忆过程来解决分析长电影的困难，其中包括由Transformers中的令牌表示的短期和长期记忆。所提出的系统MovieChat在扩展视频理解方面表现优于之前只能处理几帧电影的算法，并达到了最先进的性能。这种方法解决了长期时间关联问题，同时降低了内存使用和计算复杂性。该研究凸显了记忆过程在视频理解中的作用，使模型能够存储和检索相关信息长时间。MovieChat的普及对包括内容分析、视频推荐系统和视频监控在内的行业具有实际影响。未来的研究可能会探索如何加强记忆系统，并使用其他模态（包括音频）来提高视频理解能力。这项研究为需要全面理解视觉数据的应用创造了可能性。他们的网站上有多个演示。

最近的语言模型可以将长上下文作为输入；需要了解它们如何更好地使用更长的上下文。能否将LLMs扩展到更长的上下文？这是一个未解答的问题。Abacus AI的研究人员进行了多次实验，涉及不同方案来开发Llama的上下文长度能力，该模型在上下文长度2048上进行了预训练。他们使用IFT将这些模型进行线性缩放，缩放比例为4和16。将模型缩放到16倍可以执行长达16k的上下文长度的任务，甚至可以执行长达20-24k的上下文长度的任务。 扩展上下文长度的不同方法包括线性缩放、通过幂将旋转位置嵌入（RoPE）的傅里叶基缩放、截断傅里叶基和随机化位置向量。Abacus AI的研究人员使用这些方法对RedPajama数据集和Vicuna数据集进行了微调。他们发现线性缩放是稳健的，但会增加模型的上下文长度。截断和随机化具有很高的困惑度分数，但在检索任务上表现较差。 为了评估这些模型，研究人员使用了来自LMSys、开放式问答数据集和WikiQA的数据集。LMSys数据集用于在上下文中定位子字符串。WikiQA任务是根据维基百科文档中给出的信息回答问题的任务。 团队根据Google自然问题中的简短回答格式数据构建了一个QA任务。他们确保输出只是从原始文档中复制粘贴的短词回答。这样可以精确定位LLM应该查找的位置，通过将答案放置在不同位置有效地评估扩展上下文长度的每个部分。他们还创建了多个具有不同大小的相同维基百科文档的版本，这使他们能够在模型大小上进行公平评估。 基于维基百科的数据集的问题是模型从其预训练的文本中回答而不是从上下文中回答。研究人员通过创建一个由只有数字答案的问题组成的改编数据集来解决这个问题。他们改变了答案和文档中响应的每个出现，使得如果LLM从其预训练的文本中回忆起来，模型将错误地回答。他们将原始QA任务命名为自由格式QA（FFQA），将改编任务命名为改编数字QA（AltQA）。 AbacusAI的研究人员在两个版本的QA任务中对每个示例进行了存在准确性评估。存在准确性是衡量生成的解决方案中是否存在答案作为子字符串的准确性。他们观察到IFT的准确性提高并不能给模型能够实现的上下文长度范围带来任何扩展。 研究人员表明，通过缩放上下文进行IFT可以显著提高性能。他们观察到在缩放上下文因子插值的所有位置上，FFQA的性能提高了2倍，AltQA的性能提高了2.5倍。最后，他们的研究工作提出了一个更大上下文的语言模型，它通过更好地捕捉文档的主题更容易地提高困惑度。

融入人类输入是近期大型语言模型（LLM）能力显著提升的关键组成部分，例如ChatGPT和GPT-4。为了有效使用人类反馈，首先必须训练一个融入人类偏好、价值观和伦理问题的奖励模型。然后，在奖励模型的指导下，使用强化学习调整LLM。这个过程被称为从人类反馈中进行强化学习（RLHF），可以成功地使LLM与人类目标协调，显著提升人际交流的质量。 创建一个功能性且基于人类偏好的奖励系统并不容易。当人类标注者无法为特定提示的响应或完成提供一个数字评分时，这变得非常具有挑战性。相反，对于人们来说，根据质量进行完成的两两比较要简单得多，并且这种方法被用于InstructGPT的创建。特别是，人类标注者在看到由LLM生成的许多完成的同一个提示后，将这些完成从最高到最低的感知质量进行排序。 然后，回复根据一个经过训练的神经网络来匹配人类偏好排名的奖励模型进行奖励。尽管有一些优点，比如消除校准问题，但排名并不能充分反映多个提示的各种奖励分布。这是因为当排名较高时，很难清楚地知道一个完成比另一个完成好多少。由于一些RLHF提示是开放式的，或者换句话说，依赖于用户的历史记录，因此奖励分布可能在较大范围内变化；因此，这个问题尤为重要。 相反，有些提示是封闭式的，产生应该获得高或低分的回复，导致奖励分布的近似两点质量分布。第一类提示的例子包括“证明勾股定理”和“鸡是恐龙吗”。第二类提示的例子包括“证明勾股定理”和“写一篇关于100年后人工智能的短篇小说”。只有考虑到各种线索的微妙之处，激励模型才能帮助LLM适当地衡量不确定性。 斯坦福大学、普林斯顿大学和宾夕法尼亚大学的研究人员记录了一个意外现象，显示在根据偏好排名训练奖励模型时，它可以提供独立于提示的相同奖励分布。这个事件发生在训练的最后阶段，被称为奖励崩溃。有趣的是，在这个事件被经验性地证明之前，他们的理论分析就已经预测到了。他们证明了可以使用一个简单的优化程序，甚至更简单的闭式表达式来数值推断奖励崩溃的奖励分布。他们对奖励崩溃的预测与经验结果非常吻合。 他们的第二个重要贡献是引入了一种有原则的策略，利用来自同一个优化程序的数据来防止奖励崩溃。奖励崩溃是不可取的，因为它忽略了不同提示之间微小的区别，并且在使用强化学习和奖励模型训练LLM时可能导致人类选择的错误校准。奖励模型的训练提前结束是解决这个问题的一个简单方法，但这是相当任意的，并且很难决定何时结束。 实质上，他们建议基于提示使用不同的效用函数来训练奖励模型，这样产生的奖励分布可以是广泛分散或紧密集中的，具体取决于提示是开放式还是封闭式。这种基于提示的技术具有明显的优势，可以进行全面的分析，根据需要完全定制奖励分布的结构。他们的研究结果表明，使用这种基于提示的技术可以显著减少奖励崩溃。

ChatGPT和大型语言模型（LLMs）非常灵活，可以创建多种程序。然而，当应用程序受欢迎并且流量增加时，与LLM API调用相关的成本可能变得显著。在处理许多查询时，LLM服务可能还需要较长的等待时间。 为了直面这一困难，研究人员开发了GPTCache，这是一个旨在存储LLM答案的语义缓存项目。开源的GPTCache程序可以通过缓存其输出答案来加快LLMs的速度。当所请求的响应已经在缓存中存储并且之前已经请求过时，这将极大地减少获取它所需的时间。 GPTCache具有灵活和简单的特点，非常适合任何应用。它与许多语言学习机器（LLMs）兼容，例如OpenAI的ChatGPT。 它是如何工作的？ 为了正常运行，GPTCache会缓存LLM的最终回复。缓存是用于快速检索最近使用的信息的内存缓冲区。每当向LLM发出新请求时，GPTCache首先查找缓存，以确定所请求的响应是否已经存储在其中。如果答案可以在缓存中找到，它将立即返回。如果缓存中没有找到，LLM将生成响应并将其添加到缓存中。 GPTCache的模块化架构使其易于实施定制的语义缓存解决方案。用户可以通过选择不同的设置来定制每个模块的体验。 LLM适配器通过将各种LLM模型使用的API和请求协议标准化为OpenAI API，统一了它们之间的接口。由于LLM适配器可以在不需要重写代码或熟悉新API的情况下在LLM模型之间移动，它简化了测试和实验。 嵌入生成器使用所请求的模型创建嵌入，以进行相似性搜索。支持的模型可以使用OpenAI的嵌入API。这是使用GPTCache/paraphrase-albert-onnx模型的ONNX，Hugging Face嵌入API，Cohere嵌入API，fastText嵌入API和SentenceTransformers嵌入API。 在缓存存储中，像ChatGPT这样的LLM的响应被保留，直到可以检索。在确定两个实体是否在语义上相似时，会获取缓存的回复并将其发送回请求方。GPTCache与许多不同的数据库管理系统兼容。用户可以选择最符合其性能、可扩展性和最常用数据库成本要求的数据库。 向量存储的选择：GPTCache包括一个向量存储模块，它使用从原始请求中导出的嵌入来识别K个最相似的请求。此功能可用于确定两个请求的相似程度。此外，GPTCache支持多个向量存储，例如Milvus、Zilliz Cloud和FAISS，并为与它们一起使用提供了简单的接口。用户可以选择各种向量存储选项，其中任何一个都可能影响GPTCache的相似性搜索性能。凭借对各种向量存储的支持，GPTCache承诺是可适应的，并满足更多种用例的需求。 GPTCache缓存管理器管理缓存存储和向量存储组件的驱逐策略。当缓存被填满时，替换策略决定哪些旧数据应该从缓存中删除，以为新数据腾出空间。 相似性评估器的信息来自于GPTCache的缓存存储和向量存储部分。它使用几种不同的方法将输入请求与向量存储中的请求进行比较。是否从缓存中提供请求取决于相似度的程度。GPTCache提供了统一的接口和可用实现的库，以确定缓存匹配。GPTCache通过各种相似度算法来确定缓存匹配的能力，使其能够适应大范围的用例和用户需求。 特点和优势 通过GPTCache减少LLM查询延迟，提高响应速度和速度。 由于许多LLM服务采用基于令牌和请求的定价结构，GPTCache可以减少服务成本，限制API调用次数。 GPTCache具有从LLM服务卸载工作的能力，提高可扩展性。随着您接收的请求数量增加，这可以帮助您保持高效运行。 借助GPTCache，可以将创建LLM应用程序的成本降至最低。通过缓存由LLM生成或模拟的数据，您可以在不向LLM服务发出API请求的情况下测试您的应用程序。 GPTCache可以与您选择的应用程序（LLM ChatGPT）、缓存存储（SQLite、PostgreSQL、MySQL、MariaDB、SQL Server或Oracle）和向量存储（FAISS、Milvus、Ziliz Cloud）配合使用。GPTCache项目的目标是在GPT-based应用程序中尽可能地重用先前生成的回复，而不是每次都从空白开始，从而实现对语言模型的最有效利用。

已经收集了多个人类演示用于学习视觉导航，最近的大规模数据集包含数百个交互场景，这些都显著提高了智能体的性能。然而，要进行如此大规模的训练需要解决一些关键的子问题，例如如何构建导航图，恢复损坏的渲染图像和生成导航指令。所有这些都对收集的数据质量产生重大影响，因此应该进行深入探索。 研究如何有效利用大规模数据来适当地训练导航智能体非常必要，一个能够理解人类自然语言并在逼真环境中导航的智能体是一个复杂而模块化的系统。 为了训练大规模的视觉与语言导航网络（VLNs），澳大利亚国立大学、OpenGVLab、上海人工智能实验室、UNC教堂山分校、阿德莱德大学和Adobe研究团队提供了一种新的范式，通过统计评估管道中每个组件的影响。他们使用Habitat模拟器，从HM3D和Gibson数据集中使用环境，为环境构建导航图。他们采样新的轨迹，创建指令，并训练智能体解决下游导航问题。 与AutoVLN和MARVAL等先前方法不同，这些导航图通过过度视点采样和聚合过程构建，采用了引入的图形创建启发式方法。这种方法产生了具有广泛室外覆盖范围的全连接网络。 研究人员还训练了Co-Modulated GAN，从HM3D和Gibson环境中的损坏生成图像的破损、变形或缺失部分生成逼真图像，减少了视觉数据噪声的影响。与MARVAL相比，这种大规模训练方案是完全可复现且易于执行的，同时明显提高了智能体的性能。 广泛的实验证明，如果智能体要在特定指令的下游任务（如R2R）上表现更好，导航图必须是完全可遍历的。此外，研究结果还表明，从新场景中学习而不仅仅是增加数据量，智能体通常可以使用更多样化的视觉数据，并提高对新环境的泛化能力。 此外，团队验证了在基于LSTM的基本模型提供的增强指令上训练的智能体在各种导航任务上表现良好。他们得出结论，通过在预训练和微调过程中将增强数据与原始数据整合，可以提高智能体的泛化能力。 令人惊讶的是，通过将上述分析作为数据增强和智能体训练的指导方针，所提出的VLN模型可以通过简单的模仿学习在R2R测试集上实现80%的成功率，而无需预探索、波束搜索或模型集成，并消除了已知和未知环境之间的导航差距。这一结果相比先前最佳方法（73%）有了巨大的改进，将性能差距缩小到了6个百分点以内，接近人类水平。对于诸如CVDN和REVERIE等几个语言引导的视觉导航挑战，该方法推动了最新技术的发展。即使增强数据是离散的，该方法在连续环境（R2R-CE）中将VLN性能提高了5%的成功率，这是一个更为现实但具有挑战性的场景。

音乐标题生成涉及通过生成给定音乐曲目的自然语言描述来进行音乐信息检索。生成的标题是句子的文本描述，区别于其他音乐语义理解任务，如音乐标记。这些模型通常使用编码器-解码器框架。 关于音乐标题生成的研究有了显著增长。然而，尽管其重要性，研究这些技术的研究人员面临着数据集收集的昂贵和繁琐任务的障碍。此外，可用的音乐-语言数据集数量有限，这也带来了挑战。由于数据集的稀缺性，成功训练音乐标题生成模型并不容易。大型语言模型（LLMs）可能是音乐标题生成的潜在解决方案。LLMs是具有超过十亿个参数的前沿模型，能够在少量或零个示例的情况下处理任务并展现出令人印象深刻的能力。这些模型通过从维基百科、GitHub、聊天记录、医学文章、法律文章、书籍和从互联网爬取的网页等各种来源的大量文本数据进行训练。广泛的训练使它们能够理解和解释各种上下文和领域中的单词。 随后，韩国的一支研究团队开发了一种称为LP-MusicCaps（基于大型语言的伪音乐标题数据集）的方法，通过将LLMs谨慎应用于标记数据集来创建一个音乐标题数据集。他们对大规模音乐标题数据集进行了系统评估，使用了自然语言处理领域中的各种定量评估指标以及人工评估。结果生成了大约220万个与50万个音频剪辑配对的标题。首先，他们提出了一种基于LLM的方法来生成音乐标题数据集LP-MusicCaps。其次，他们提出了一种用于对LLMs生成的音乐标题进行系统评估的方案。第三，他们证明了在LP-MusicCaps上训练的模型在零样本和迁移学习场景中表现良好，证明了使用基于LLM的伪音乐标题的合理性。 研究人员首先从现有的音乐标记数据集中收集多标签标签。这些标签涵盖了音乐的各个方面，如流派、情绪、乐器等。他们仔细构建了任务说明，为音乐曲目生成描述性句子，这些句子作为大型语言模型的输入（提示）。由于其在各种任务中表现出色，他们选择了强大的GPT-3.5 Turbo语言模型来执行音乐标题生成。GPT-3.5 Turbo的训练过程包括一个具有大量数据的初始阶段，并且受益于巨大的计算能力。随后，他们使用增强学习和人类反馈进行微调。这个微调过程旨在提高模型与指令有效交互的能力。 研究人员将基于LLM的标题生成器与基于模板的方法（标签连接、提示模板）和K2C增强进行了比较。在K2C增强的情况下，当指令缺失时，输入标签会被省略在生成的标题中，导致生成的句子可能与歌曲描述无关。另一方面，基于模板的模型表现出更好的性能，因为它从模板中存在的音乐上下文中受益。 他们使用BERT-Score指标评估生成的标题的多样性。这个框架显示出更高的BERT-Score值，生成具有更多样化词汇的标题。这意味着该方法生成的标题提供了更广泛的语言表达和变化，使其更具吸引力和丰富上下文。 随着研究人员不断完善和提升他们的方法，他们也期待利用语言模型的力量来推动音乐标题生成并为音乐信息检索做出贡献。

大规模预训练语言模型（LLM）如OpenAI GPT、Flan-T5和LLaMA极大地推动了自然语言处理（NLP）的快速发展。这些模型在各种NLP应用中表现出色。然而，在微调过程中，由于它们庞大的参数规模，计算效率和内存利用存在问题。 近年来，低秩适应（LoRA）的崛起成为一种有效的调优工具。它通过减少所需的内存和计算量来加快LLM的训练。LoRA通过固定主模型的参数（一个LLM）并学习一个小型的补充模块来实现这一目标，该模块可靠地在指定的任务上表现良好。 LoRA所带来的效率提升一直是以前的研究重点，但LoRA模块的模块化和可组合性却受到了极少关注。必须研究LoRA模块是否可以高效地推广到未知问题。 来自Sea AI Lab、华盛顿大学和Allen Institute for AI的研究人员决定利用LoRA的模块化能力，使其能够灵活应对新的挑战，而不仅仅局限于特定任务的训练。他们的方法的关键优势在于，它允许LoRA模块在没有人为干预或专门知识的情况下自动组装。 该方法可以通过使用以前未识别任务的几个样本自动安排合适的LoRA模块。因为研究人员不假设哪些训练在哪些任务上的LoRA模块可以集成，满足要求的所有模块（例如通过利用相同的LLM）都可以进行合并。他们将这种学习技术称为LoraHub学习，因为它使用了已有的几个不同的LoRA模块。 为了确保其有效性，团队使用行业标准的BBH基准和Flan-T5作为底层LLM来评估他们的方法。结果表明，几次少样本的LoraHub学习过程可以为新任务组合LoRA模块，效果接近少样本、上下文学习。与上下文学习相比，消除了LLM的实例输入需求，从而显著降低了推理成本。该学习技术采用无梯度的方法生成LoRA模块的系数，只需要少量的推理步骤。以单个A100为例，在不到一分钟内，该方法可以在BBH上达到顶级性能。 在LoraHub上的学习仅需要了解如何处理LLM推理。因此，它可以在仅有CPU的计算机上完成。这项工作的灵活性和高性能为创建一个平台铺平了道路，在这个领域里，训练过的LoRA模块可以轻松共享、访问和应用于新的任务。团队希望这样的系统能够允许开发一个具有广泛功能的可重用LoRA模块库。该团队正在努力动态组合LoRA节点，以提高LLM的能力，使其适用于所有人。

大型语言模型（LLMs）是深度学习模型在人类语言上的最新进展。这些深度学习训练模型以人类类似的方式理解和生成文本。这些模型是在从互联网、书籍、文章、网站和其他信息来源中抓取的大量数据集上进行训练的。它们可以翻译语言、总结文本、回答问题，并执行各种自然语言处理任务。 最近，人们对它们生成不受欢迎内容的能力及其带来的后果越来越关注。因此，在这个领域进行了重要的研究。 随后，来自卡内基梅隆大学计算机科学学院（SCS）、CyLab安全与隐私研究所以及旧金山人工智能安全中心的研究人员研究了语言模型中生成不受欢迎行为的方法。在他们的研究中，他们提出了一种新的攻击方法，涉及在各种查询后面添加后缀，从而极大地增加了开源和闭源语言模型（LLMs）生成对它们通常会拒绝的问题的肯定回答的可能性。 在他们的调查中，研究人员成功地将攻击后缀应用于各种语言模型，包括ChatGPT、Bard和Claude等公共接口，以及LLMa-2-Chat、Pythia、Falcon等开源LLMs。因此，攻击后缀有效地在这些语言模型的输出中引发了不受欢迎的内容。 这种方法在Vicuna上的100个实例中成功生成了有害行为中的99个。此外，在Vicuna的输出中，它们与目标有害字符串有88个完全匹配。研究人员还测试了他们的攻击方法对其他语言模型的影响，如GPT-3.5和GPT-4，成功率高达84%。对于PaLM-2，成功率为66%。 研究人员表示，目前，通过引导聊天机器人生成不受欢迎或有害内容可能不会对人们造成特别严重的直接伤害。关注点在于这些模型在没有人员监督的自主系统中将扮演更重要的角色。他们进一步强调，在自主系统变得更加现实时，确保我们有可靠的方法来阻止它们被此类攻击劫持将非常重要。 研究人员表示，他们并没有打算攻击专有的大型语言模型和聊天机器人。但是他们的研究表明，即使我们拥有大量参数的闭源模型，人们仍然可以通过查看免费提供的、更小且更简单的开源模型，并学习如何攻击它们来攻击它。 在他们的研究中，研究人员通过在多个提示和模型上训练攻击后缀，扩展了他们的攻击方法。结果，他们在包括Google Bard和Claud在内的各种公共接口中引发了不受欢迎的内容。攻击还影响了像Llama 2 Chat、Pythia、Falcon等开源语言模型，展示了不受欢迎的行为。 这项研究表明他们的攻击方法具有广泛的适用性，可以影响各种语言模型，包括那些具有公共接口和开源实现的模型。他们进一步强调，目前我们没有一种方法来阻止这种对抗性攻击，因此下一步是找出如何修复这些模型。 查看论文和博客文章。此研究的所有荣誉归功于该项目上的研究人员。此外，别忘了加入我们的27k+ ML SubReddit，40k+ Facebook社群，Discord频道和电子邮件通讯，我们在其中分享最新的人工智能研究新闻、酷炫的人工智能项目等等。 本文摘自MarkTechPost，CMU研究人员提出了一种简单而有效的攻击方法，使对齐的语言模型以高成功率生成不受欢迎的行为。

ChatGPT正成为热门话题，每天有数百万人在使用。凭借其惊人的能力，如问答、生成独特而富有创意的内容、总结海量文本数据、代码补全以及开发非常有用的虚拟助手，ChatGPT使我们的生活更加便捷。ChatGPT由OpenAI开发，基于GPT 3.5（生成式预训练变换器）和GPT 4的变换器架构。GPT 4是由OpenAI发布的最新版本的语言模型，具有多模态性，即它以文本和图像的形式输入，与之前的版本不同。甚至其他大型语言模型（LLM），如PaLM、LLaMA和BERT，也被用于涉及医疗保健、电子商务、金融、教育等各个领域的应用中。 一组研究人员在最近发布的研究论文中强调了类似GPT这样的大型语言模型在复杂任务上表现出色而在简单任务上的困难。研究团队对三个代表性的组合任务进行了实验：多位数相乘、逻辑网格谜题和经典的动态规划问题。这些任务涉及将问题分解为较小的步骤，并将这些步骤组合起来产生准确的解决方案。 为了研究变换器在解决需要多步推理的组合任务方面的限制，作者提出了两个假设。第一个假设是变换器通过将多步推理线性化为路径匹配来完成任务，因此依赖于模式匹配和快捷学习，而不是真正理解和实现开发正确解决方案所需的底层计算规则。这种方法在训练期间可以快速准确地预测相似模式，但无法推广到不常见的复杂示例。第二个假设认为，在尝试解决具有独特模式的高复杂性组合任务时，变换器可能存在固有限制。早期的计算错误可能会传播并导致后续步骤中的严重错误，阻止模型获得正确解决方案。 为了研究这两个假设，作者将组合任务形式化为计算图，以便调查。这些图将解决问题的过程分解为更小、更易管理的子模块化功能步骤，从而实现问题复杂性的结构化度量，并将计算步骤的语言化作为语言模型的输入序列。他们甚至使用信息增益来预测模型可能基于底层任务分布而学习的模式，而无需在图中进行完整的计算。 基于实证结果，作者提出变换器通过将多步推理简化为线性子图匹配来处理组合挑战。他们提供了基于抽象多步推理问题的理论论证，强调随着任务复杂性的增加，变换器的性能迅速下降。这表明模型在处理极度复杂的组合问题方面可能已经受到限制。 总的来说，实证和理论结果表明，与对底层思维过程的深入理解相比，变换器的性能主要受到模式匹配和子图匹配的驱动，这也支持变换器在执行越来越困难的任务时可能遇到困难的观点。

大型语言模型（LLMs）近几个月来引起了大量关注。这些模型通过回答相关问题、生成精确内容、翻译语言、总结长文本段落以及完成代码示例等方式模仿人类。LLMs正在迅速发展，定期推出强大的模型，展示出在代码生成任务中出色的性能。研究人员已经探索了几种技术，包括有监督的微调、指导微调、强化学习等，以提高预训练代码LLMs生成代码的能力。 最近的一项研究中，来自华为云有限公司、中国科学院和北京大学的研究人员团队引入了一种名为RRTF（Rank Responses to align Test&Teacher Feedback）的独特框架，成功而高效地增强了预训练大型语言模型的代码生成能力。RRTF框架旨在提高代码LLMs在代码生成活动中的性能，它使用自然语言LLM对齐技术和评级反馈而不是绝对奖励值。 从人类反馈中进行强化学习的方法，例如使用排名响应作为反馈而不是绝对奖励值的InstructGPT或ChatGPT等模型，为这种新颖方法提供了灵感，该方法将自然语言LLM对齐技术应用于代码LLMs。通过应用RRTF框架，该团队还引入了PanGu-Coder2模型，在OpenAI HumanEval基准测试中，该模型以出色的62.20%的一等通过率位居第一位。 通过在StarCoder 15B上使用该方法，该团队超越了PanGu-Coder并取得了所有记录的代码LLMs中最佳性能，证明了RRTF的实用性。对HumanEval、CoderEval和LeetCode三个基准的全面分析表明，代码LLMs在代码创作任务中可能能够超越相同或更大规模的自然语言模型。该研究还强调了高质量数据在提高模型遵循指令和编写代码能力方面的价值。 该团队总结了以下贡献： 引入了RRTF优化模式，该模式具有许多优点，使其成为一个与模型无关、简单直观和高效的方法。 引入了PanGu-Coder2模型，PanGu-Coder2的性能大幅超越原始模型约30%。HumanEval、CoderEval和LeetCode是一些展示这一显著速度提升的基准。 PanGu-Coder2在代码生成方面超越了所有先前发布的代码LLMs，取得了新的最先进成就。 该团队讨论了他们在构建用于代码生成的良好训练数据方面的想法和实践知识。 使用RRTF框架训练了PanGu-Coder2模型，并提供了有关该过程的有益见解。 除了提高代码生成效率，该团队还提出了PanGu-Coder2使用的优化方法，以保证快速推理。这一领域的发现有助于创建现实部署方案，因为高效的推理对于实际应用至关重要。

每一天都带来了大型语言模型（LLMs）的显著进展，这些模型在文本生成、情感分类、文本分类和零样本分类等各种任务中表现出色。它们的能力超越了这些领域，使内容创作、客户服务和数据分析实现自动化，从而彻底改变了生产力和效率。 最近，研究人员还开始探索使用LLMs进行推理的用途和效用。这些模型可以理解复杂的文本信息，并从中进行逻辑推理。LLMs擅长于问题回答、问题解决和决策制定等任务。然而，LLMs仍然不能像人类一样解决对人类来说很容易的问题，比如在给定环境中生成执行任务的行动计划，或者进行复杂的数学、逻辑和常识推理。LLMs在某些任务上面临困难，因为它们没有像人类那样的内部世界模型。这意味着它们无法预测在特定情况下事物的发展情况，或者模拟行动的长期结果。人类拥有内部世界模型，即对环境的心理表示，使得人类能够模拟行动及其对世界状态的影响，从而在复杂任务中进行有意识的计划。 为了解决这些问题，研究人员设计了一种新的推理框架，即基于规划的推理（RAP）。该框架使用一个库，使LLMs能够使用先进的推理算法进行复杂的推理。该框架将多步推理方法视为规划，并搜索最优推理链，以实现“世界模型”和“奖励”之间的最佳探索与开发平衡。除了RAP论文外，研究团队还提出了LLM推理器。LLM推理器是一个专门为语言模型（LLMs）设计的AI库，通过使用先进的算法，使其具备进行复杂推理的能力。它将多步推理视为规划，搜索最有效的推理链，并使用“世界模型”和“奖励”的概念优化探索和开发之间的平衡。你只需要定义一个奖励函数和（可选地）一个世界模型。LLM推理器负责处理其余的事情，包括推理算法、可视化、LLM调用等等！ 世界模型将部分解决方案视为状态，并将新的行动/思考附加到状态作为状态转换。奖励函数在评估推理步骤的表现好坏方面起着关键作用。其思想是，具有更高累积奖励的推理链更有可能是正确的。 研究人员对该框架进行了广泛的研究。他们将RAP应用于数学推理和逻辑推理等几个具有挑战性的推理问题。这些任务的实际结果表明，RAP优于几种强基准方法。当应用于LLaMA33B时，RAP超越了GPT-4上的CoT，在计划生成方面实现了惊人的33%相对改进。 在推理过程中，LLM通过不断评估最佳推理步骤（行动）巧妙地构建推理树。为此，它使用其世界模型，这与以不同方式使用的相同LLM相同。通过模拟未来结果，LLM估计潜在奖励，并使用此信息更新其对当前推理步骤的信念。通过探索更好的替代方案和改进决策，它改进了推理过程。该框架提供了先进的推理算法，提供直观的可视化和解释，并与任何其他LLM库兼容。 研究人员强调，在对各种具有挑战性的推理问题进行广泛实验后，RAP优于几种基于CoT的当代推理方法。该框架甚至在某些情况下表现优于先进的GPT-4。RAP在设计奖励、状态和行动方面的灵活性展示了其作为灵活的框架处理各种推理任务的潜力。RAP将规划和推理以创新的方式结合在一起，这种方法有可能彻底改变我们对LLM推理的理解方式，为AI系统实现人类级别的战略思考和规划铺平道路。