Tag: Technology

在过去几年中，我们见证了大规模语言模型（LLM）（如GPT4）的崛起，这些模型在包括沟通和常识推理在内的各种任务上表现出色。最近的研究关注如何将图片和视频与LLM对齐，以创建一种新型的多模态LLM（如Flamingo和BLIP-2），能够理解和理解二维视觉。然而，尽管这些模型在沟通和决策方面非常有效，但它们并不基于真实的三维物理世界中的更深层次概念，包括空间连接、可行性、物理和交互等。因此，与科幻电影中展示的能够理解三维情境并基于这些理解进行推理和规划的机器人助手相比，这种LLM是微不足道的。为了做到这一点，他们建议将三维世界纳入大规模语言模型，并引入一类全新的三维LLM，可以使用三维表示（即带有相关属性的三维点云）作为输入来处理各种三维相关任务。 图 1 当LLM使用三维情景表示作为输入时，它们从两个方面获益：(1) 它们可以将完整场景的长期记忆存储在整体的三维表示中，而不是片段性的部分观察。(2) 从三维表示中推理可以推断出三维特征，如可行性和空间链接，远远超出基于语言或二维图像的LLM的能力。数据收集是训练提出的三维LLM的一个重要障碍。缺乏三维数据使得基于三维数据创建基础模型变得困难，而互联网上的二维图像和文本数据却非常丰富。更难获取的是与口头描述相结合的三维数据。 他们提出了一系列独特的数据生成过程，以提供大量与语言相关的三维数据来解决这个问题。他们为三维数据和语言之间的交流提供了三个有效的提示过程，特别是使用ChatGPT。如图1所示，他们可以通过这种方式获取30万条三维语言数据，其中包括各种任务的信息，例如三维字幕、密集字幕、三维问题回答、三维任务分解、三维基础、三维辅助对话、导航等。下一个困难是找到与语言特征相匹配的有用的三维属性，用于三维LLM。一种方法是使用类似于CLIP的对比学习范式从头开始训练三维编码器，对齐语言和二维图片。然而，这种方法使用了大量的数据、时间和GPU资源。从不同的角度来看，最近的一些努力（如想法融合和3D-CLR）从二维多视图照片构建三维特征。他们还使用了一个三维特征提取器，根据这个提取器使用二维预训练特征的渲染多视图图片创建三维特征。 近期许多视觉语言模型（如BLIP-2和Flamingo）开始使用二维预训练的CLIP特征来训练它们的VLMs。由于它们映射到与二维预训练特征相同的特征空间，它们可以轻松地将二维VLMs作为骨干，并输入提取的三维特征以有效地训练三维LLM。三维LLM被预期具有潜在的三维空间信息感，这使它们在几个重要方面与传统的LLM和二维VLM不同。因此，来自加州大学洛杉矶分校、上海交通大学、华南理工大学、伊利诺伊大学厄巴纳-香槟分校、麻省理工学院、马萨诸塞大学阿默斯特分校和麻省理工-IBM沃森人工智能实验室的研究人员创建了一个将语言与地理位置连接起来的三维定位系统。他们将三维位置嵌入到检索到的三维特征中，更有效地编码空间信息。此外，他们向三维LLM添加了几个位置标记。然后，可以根据景物的语言描述生成位置标记来训练定位。这将使三维LLM能够更有效地记录三维空间数据。 总之，他们的论文提出了以下贡献： • 他们提出了一种新的基于3D的大型语言模型（3D-LLMs），可以使用来自带有特征和语言提示的3D点的输入来处理一系列与3D相关的任务。他们集中研究传统的或2D-LLMs无法涵盖的活动，例如对整个场景的认知、3D空间连接、适应性和3D规划等。 • 他们创建了创新的数据收集管道，可以生成大量的3D语言数据。基于这些管道，他们收集了一个包含超过30万个3D语言数据点的数据集，涵盖了广泛的3D相关活动，例如3D grounding、密集字幕、3D问题回答、任务分解、3D辅助对话、导航等。 • 他们使用3D特征提取器，该提取器可以接收渲染的多视角图片并提取有用的3D特征。他们使用2D预训练的VLMs构建了他们的训练系统。为了让3D-LLMs更好地收集3D空间信息，他们添加了一种3D定位方法。 • 在实验中，ScanQA（一种保留评估数据集）的表现优于先进的基准模型。在ScanQA上，特别是3D LLMs在基准模型（例如BLEU-1时提高了9%）的基础上表现更好。他们的方法在使用保留数据集进行3D字幕、任务创建和3D辅助对话的测试中击败了2D VLMs。定性调查显示，他们的方法可以更详细地处理各种工作。 • 他们希望将他们的3D-LLMs、3D语言数据集以及数据集的语言对齐的3D特征提供给即将进行的研究。

在开放领域指令遵循数据上训练LLM的结果是惊人的。然而，手动开发这种类型的指令数据需要时间和精力。此外，人类可能需要帮助创建高度复杂的指令。最近，许多自然语言处理（NLP）社区的努力集中在教导大型语言模型更好地理解和遵循指令。最近的研究表明，LLM也可能从教学中受益。因此，这种数据现在常规用于在开放领域训练和微调LLM。 Evol-Instruct是一种革命性的方法，使用LLM创建不同复杂度的大量指令数据；这是由微软和北京大学的研究人员团队开发的。该团队的WizardLM模型生成的指令在人类评估中得分高于人类创建的指令数据集。 Evol-Instruct流程分为三个阶段： 指令的演化 基于新开发的教育的响应的演化 消除的演化 为了从简单的种子指令生成更复杂的指令，Evol-Instruct可以执行深度演化（涉及五种操作之一：添加约束、加深、具体化、增加推理步骤和复杂化输入）或广度演化（基于给定的指令创建新的指令）。最后一个阶段，消除演化，作为一个过滤器来消除不良指令。 研究人员使用Evol-Instruct生成不同复杂度的指令。然后，他们将所有生成的指令数据合并起来，通过实证研究来微调LLaMA LLM并开发他们的WizardLM模型。WizardLM与ChatGPT、Alpaca和Vicuna等行业标准工具进行了评估。 研究人员主要得出以下结论： Evol-Instruct的指令优于人类开发的ShareGPT。使用相同数量的Evol-Instruct数据（即70k）微调LLaMA 7B时，WizardLM的表现比Vicuna高出12.4%（41.3%对28.9%）。 在面临困难的测试指令时，标注者对WizardLM的结果比对ChatGPT的结果更满意。在测试集上，WizardLM相比ChatGPT输了12.8%，胜率为28.0%对40.8%。然而，在测试集的高难度部分（难度级别8）中，WizardLM相对于ChatGPT的胜率高出7.9个百分点，为42.9%对35.0%。这表明该技术极大地增强了大型语言模型处理复杂指令的能力。 研究的作者通过评估高复杂性组件的人类评估结果，显示WizardLM模型的输出优于OpenAI ChatGPT的输出。结果显示，使用AI演进的指令进行微调是增强大型语言模型的潜在途径，即使WizardLM在某些方面仍落后于ChatGPT。源代码和输出数据都可以在https://github.com/nlpxucan/WizardLM上查看。 研究人员使用以下三个LLM作为起点： OpenAI创建了AI聊天机器人ChatGPT，以使对话变得自然和有趣。它基于从互联网等大量文本数据训练的LLM，如GPT-3.5和GPT-4。在人类训练员的监督下，使用监督学习和强化学习方法对ChatGPT进行微调。 Alpaca是斯坦福大学的一个倡议，旨在创建和传播一种免费的、由社区驱动的遵循指令的范例。该模型使用通过查询OpenAI的text-davinci003模型创建的52K个遵循指令实例开发，并建立在LLaMA 7B上，这是一个经过训练的大型语言模型，使用了多个文本来源。 Vicuna是一个开源聊天机器人，可以为用户提供人性化和有趣的回复。它基于LLaMA 13B，使用了来自ShareGPT的70K个用户共享对话数据进行微调。 研究人员使用ChatGPT来评估每个指令的复杂性和困难度，从而使他们能够更深入地了解指令演化过程。根据LLaMA模型许可，研究人员以增量权重的形式发布[WizardLM]权重。可以通过将增量添加到初始LLaMA权重来获得WizardLM权重。 研究人员使用人工指导评估集将Wizard的输出与人类评估者生成的输出进行比较。在Wizard和控制组之间进行了盲目的成对比较。作者的评估数据收集涵盖了许多以用户为中心的任务，从复杂的代码生成和调试到数学推理，复杂格式的推理，学术写作和广泛的学科。 这些结果表明，Evol-Instruct的AI演化指令方法可以极大地提高LLM性能，并使模型具备处理具有挑战性和复杂指令的能力，例如涉及数学计算、程序开发和逻辑思考的指令。

近年来，基于Transformer的大型语言模型（LLMs）因其捕捉和存储事实知识的能力而变得非常流行。然而，这些模型在推理过程中如何提取事实关联的方式仍然相对未被充分探索。谷歌DeepMind、特拉维夫大学和谷歌研究的研究人员最近进行了一项研究，旨在研究Transformer-based LLMs存储和提取事实关联的内部机制。 该研究提出了一种信息流方法，以调查模型如何预测正确属性以及内部表示如何在层之间演化以生成输出。具体而言，研究人员关注了仅有解码器的LLMs，并确定了与关系和主题位置相关的关键计算点。他们通过使用“去除”策略，在特定层次阻止最后一个位置与其他位置进行关注，并观察推理过程中的影响。 为了进一步确定属性提取发生的位置，研究人员分析了在这些关键点和前面的表示构建过程中传播的信息。他们通过对词汇表、模型的多头自注意力（MHSA）和多层感知机（MLP）子层和投影进行额外干预来实现这一目标。 研究人员确定了一种基于主题丰富过程和属性提取操作的属性提取内部机制。具体而言，在模型的早期层中，关于主题的信息在最后一个主题令牌中得到丰富，而关系传递给最后一个令牌。最后，最后一个令牌使用关系通过注意力头参数从主题表示中提取相应的属性。 这些发现揭示了LLMs内部存储和提取事实关联的机制。研究人员认为，这些发现可能为知识定位和模型编辑开辟新的研究方向。例如，该研究的方法可以用于确定LLMs获取和存储有偏见信息的内部机制，并开发缓解此类偏见的方法。 总的来说，这项研究强调了研究Transformer-based LLMs存储和提取事实关联的内部机制的重要性。通过了解这些机制，研究人员可以开发更有效的方法来改善模型性能并减少偏见。此外，该研究的方法可以应用于自然语言处理的其他领域，如情感分析和语言翻译，以更好地了解这些模型的内部运作方式。

近年来，对话式人工智能取得了重大进展，使得机器和用户之间的交互更加类似于人类之间的交流。推动这一进展的关键组成部分之一是大规模且多样化的数据集，这些数据集为训练复杂的语言模型提供了基础。Salesforce AI和哥伦比亚大学的研究人员推出了DialogStudio，作为一项开创性的倡议，为研究提供了一个包含统一对话数据集的综合性收集平台，以及训练大型语言模型（LLM）的支持。 统一对话数据集的需求 开发高效且多功能的对话式人工智能系统需要访问覆盖各个领域和对话类型的多样化数据集。传统上，不同的研究小组贡献了旨在解决特定对话场景的数据集。然而，这种分散的方法导致了对数据集之间更多标准化和互操作性的需求，使得比较和集成变得更加困难。 DialogStudio通过汇总33个不同的数据集来填补这一空白，这些数据集代表了多个类别，如知识驱动对话、自然语言理解、开放领域对话、任务导向对话、对话摘要和对话推荐。统一过程保留了每个数据集的原始信息，同时促进了无缝集成和跨领域研究。 对话质量评估 为了确保数据集的质量和适用性，DialogStudio采用了一套全面的对话质量评估框架。根据六个关键标准（理解、相关性、正确性、连贯性、完整性和整体质量）评估对话，使得研究人员和开发人员能够有效衡量模型的性能。评分范围为1到5分，分数越高表示对话质量越好。 通过HuggingFace实现无缝访问 DialogStudio通过HuggingFace提供了方便访问其庞大的数据集收藏。研究人员可以通过声明与DialogStudio中的数据集文件夹名称相对应的数据集名称来快速加载任何数据集。这一简化流程加速了对话式人工智能模型的开发和评估，节省了宝贵的时间和精力。 模型版本和限制 DialogStudio提供了基于选定数据集训练的1.0版本模型。这些模型基于小规模预训练模型，并且不包括用于训练像Alpaca、ShareGPT、GPT4ALL、UltraChat等大规模数据集的模型，也不包括OASST1和WizardCoder等其他数据集。尽管在创造性能力方面存在一些限制，但这些模型为开发复杂模型提供了一个坚实的起点。 DialogStudio是发展对话式人工智能的一个重要里程碑，提供了一个统一且广泛的对话数据集收藏。通过将多样化的数据集集中在一个平台上，DialogStudio使得研究人员和开发人员能够探索对话式人工智能的新领域，为机器和用户之间更加复杂、类似于人类的交互铺平了道路。凭借其持续改进和社区参与的关注，DialogStudio注定将在未来多年中塑造对话式人工智能的未来。