Tag: Technology

近期，著名的BERT模型一直是自然语言处理中领先的语言模型之一。该语言模型适用于多个NLP任务，这些任务将输入序列转换为输出序列。BERT（Bidirectional Encoder Representations from Transformers）使用了Transformer注意机制。注意机制学习文本语料库中单词或子词之间的上下文关系。BERT语言模型是自然语言处理进展的最重要例子之一，并使用了自监督学习技术。 在开发BERT模型之前，语言模型在训练时分析文本序列，要么从左到右，要么从左到右和从右到左结合。这种单向方法对于通过预测下一个单词来生成句子，并将其附加到序列中，然后预测下一个到下一个单词，直到获得完整的有意义的句子的工作效果很好。通过BERT，引入了双向训练，与以前的语言模型相比，它能更深入地理解语言上下文和流。 最初的BERT模型发布为英文。随后，开发了其他语言模型，如法文的CamemBERT和意大利文的GilBERTo。最近，苏黎世大学的研究人员开发了一种适用于瑞士的多语言模型。这个模型名为SwissBERT，它在瑞士标准德语、法语、意大利语和罗曼什语Grischun中训练了超过2100万篇瑞士新闻文章，总计120亿个标记。 SwissBERT的引入是为了克服瑞士研究人员在执行多语言任务时面临的挑战。瑞士主要有四种官方语言-德语、法语、意大利语和罗曼什语，对于每种特定语言，单独的语言模型很难进行组合以执行多语言任务。此外，第四种国家语言罗曼什语也没有单独的神经语言模型。由于在自然语言处理领域实现多语言任务有一定难度，瑞士国家语言在SwissBERT之前没有统一的模型。SwissBERT通过简单地结合这些语言的文章，并通过隐式利用新闻中的共同实体和事件来创建多语言表示，克服了这一挑战。 SwissBERT模型是由预先训练在81种语言中的跨语言模块（X-MOD）转换器重新建模而来。研究人员通过训练自定义语言适配器，将预先训练的X-MOD转换器适应到他们的语料库中。他们为SwissBERT创建了一个瑞士特定的子词汇表，得到的模型包含了1.53亿个参数。 研究团队在一些任务上评估了SwissBERT的性能，包括对当代新闻（SwissNER）中的命名实体进行识别和检测用户生成的对瑞士政治的立场。SwissBERT的表现优于常见的基准模型，并在检测立场方面优于XLM-R。在对罗曼什语的能力进行评估时，发现SwissBERT在零-shot跨语言转移和德语-罗曼什语单词和句子的对齐方面明显优于未经该语言训练的模型。然而，在识别历史上经过OCR处理的新闻中的命名实体方面，该模型表现不佳。 研究人员发布了带有用于下游任务微调的SwissBERT示例。这个模型在未来的研究甚至非商业目的上似乎很有前景。通过进一步的适应，下游任务可以从该模型的多语言能力中受益。

随着大型语言模型（LLM）的最近引入，其多样性和能力引起了人工智能领域的广泛关注。这些模型经过大量数据的训练，具备了在自然语言指令下理解、推理和生成文本的出色人类模仿能力。这些模型在零样本和少样本任务中表现良好，可以根据自然语言指令进行微调，以应对未预见的挑战。 当前的LLM及其开发主要集中在英语和资源丰富的语言上。大多数现有的LLM专门针对英语进行设计和训练，导致这些模型的研究和开发中存在英语的主导偏见。为了解决这个限制，来自DAMO Academy和阿里巴巴集团的研究人员提出了一种多语种LLM，称为POLYLM（多语种大型语言模型）。与现有的缺乏13B模型的多语种LLM不同，该团队发布了POLYLM-13B和POLYLM-1.7B以促进使用。 POLYLM是使用来自公开可访问的源（包括维基百科、mC4和CC-100）的640B标记的大规模数据集构建的。团队还提出了一种课程学习技术，以解决低资源语言的数据不足问题。该方法在训练过程中逐渐增加高质量的低资源语言比例，同时最初更加关注英语。重点是将通用知识从英语转移到其他语言。 该团队还开发了MULTIALPACA，一种多语种指令数据集，用于监督微调（SFT）阶段。现有的多语种SFT数据集要么通过手动注释获得（耗时且昂贵），要么通过机器翻译获得（可能导致翻译错误且缺乏文化细微差别）。这种多语种自我指导方法自动提供高质量的多语种指令数据，以克服这些限制，并利用英语种子、多语种翻译、指令生成和过滤系统。 为了评估和评估LLM的多语种能力，该团队开发了一个基准，该基准源于现有的多语种任务，包括问答、语言理解、文本生成和跨语言机器翻译。该基准通过精心设计的提示覆盖了15种语言的十个任务。通过大量实验，该团队证明了他们的预训练模型在非英语语言中的性能优于开源模型。所提出的课程训练策略在保持英语熟练度的同时提高了多语种性能。使用多语种指令数据还显著增强了POLYLM处理多语种零样本任务的能力。 该团队总结了以下贡献。 开发了一个熟练的13B规模模型，其在西班牙语、俄语、阿拉伯语、日语、韩语、泰语、印尼语和中文等主要非英语语言中表现良好。该模型补充了现有开源模型在这些语言中要么不熟练，要么具有较小版本且能力不同的不足之处。 提出了一种先进的课程学习方法，促进了从英语到多种非英语语言和特定自然语言处理任务（如机器翻译）的通用知识的传递。 提出了一个名为MULTIALPACA的数据集，它补充了现有的指令数据集，使LLM能够更好地遵循多语种指令，特别是来自非英语母语的指令。

毫无疑问，AI机器人能够生成高质量和流畅的自然语言。长期以来，研究人员和从业者一直在思考构建一个充满具有人类行为的代理人的沙盒文明，以了解不同类型的互动、人际关系、社会理论等。可靠的人类行为替身可能会推动各种交互应用的发展，从虚拟现实到社交技能培训到原型程序。研究人员从斯坦福大学和谷歌研究中提出了一种利用生成模型模仿类人个体和紧急集体行为以响应其身份、变化经验和环境的代理人。 该小组的主要贡献可总结如下： 行为是合理的，因为它在代理人不断演化的经验和环境条件下进行动态调节，被称为生成代理人。 为实现生成代理人在快速变化的条件下具备长期记忆、检索、反思、社交互动和场景规划的能力而提出了革命性的框架。 使用两种类型的测试（控制试验和端到端测试）来确定架构的不同部分的价值，并发现类似故障记忆检索等问题。 讨论了应用生成代理人的交互系统对社会和伦理学带来的优势和潜在危险。 该小组的目标是创建一个虚拟开放世界框架，在这个框架中，智能代理人以自然语言安排日程、交换信息、建立友谊，并根据环境和历史线索协调团体活动。通过将大型语言模型（LLM）与基于LLM输出合成和提取数据的机制相结合，团队创建了一种新颖的代理人架构，使代理人能够从过去的错误中学习，并在保持长期角色连贯性的同时进行更精确的实时推理。 复杂行为可以通过代理人对录音进行递归合成来进行引导。代理人的内存流是一个数据库，包含代理人先前经历的完整记录。为了适应不断变化的环境，代理人可以从其内存流中获取相关数据，处理这些知识，并制定行动计划。 研究人员招募了人类评分员，并让他们建议的25个生成代理人在使用Phaser在线游戏开发框架开发的Smallville沙盒环境中作为非玩家角色（NPCs）运行。实验的标志是代理人对角色的一致表现以及对类人记忆、计划、反应和反思的令人信服的模仿。他们在两个完整的游戏日内用自然语言相互交流。 应用 通过将生成代理人与多模型相结合，有朝一日可以拥有能够在线和离线与人类互动的社交机器人。因此，现在可以原型化社会系统和想法，测试新的交互体验，并构建越来越逼真的人类行为模型。 人本设计过程是另一个可以使用GOMS和Keystroke Level Model等认知模型的领域。 使用生成代理人作为用户替身可以更多了解他们的需求和偏好，从而实现更个性化和高效的技术交互。 通过在角色扮演、社交原型、沉浸式环境和游戏中使用，这项研究有助于推动基于LLM的由动态和交互人类行为的代理人构成的模拟系统的发展。在进一步的研究中，可以进一步发展本文中建议的生成代理人架构的组成部分。例如，可以调整检索功能中包含的相关性、新近性和重要性函数，以提高检索模块在特定上下文中找到最相关材料的能力。还可以采取措施提高架构的性能，节省成本。 未来的研究应该通过更长时间的观察生成代理人的行为，以全面了解它们的能力和限制，因为本研究对其行为的评估仅限于非常短的时间线。

随着数字文本信息在一般和医疗领域中的数量急剧增加，对有效和准确的文本摘要模型的需求也在增加。文本摘要涉及将一篇冗长的写作压缩成简明的概述，同时保留材料的意义和价值。这已经成为自然语言处理（NLP）研究的重点已经很长时间了。 引入神经网络和深度学习技术，特别是使用编码器-解码器结构的序列到序列模型进行摘要生成，已经传达出积极的结果。与基于规则和统计的方法相比，这些方法生成的摘要更加自然和上下文适用。由于需要保留这些结果的上下文和关联特征以及在治疗环境中精确度的要求，这一努力变得更加困难。 研究人员使用ChatGPT来总结放射学报告，并对其进行了改进。为了充分利用ChatGPT的上下文学习能力，并通过交互不断改进它，研究人员开发并实施了一种新颖的迭代优化方法，使用快速工程学。更准确地说，我们采用相似性搜索算法来构建一个动态提示，其中包含语义上和临床上可比较的现有报告。ChatGPT通过这些并行报告进行训练，以理解类似成像表现的文本描述和摘要。 主要贡献 相似性搜索使得能够使用稀疏数据对语言模型（LLM）进行上下文学习。通过识别语料库中最可比较的案例，开发了一个包含LLM最相关数据的动态提示。 我们为迭代优化技术创建了一个动态提示系统。迭代提示首先评估LLM生成的回复，然后在后续迭代中提供更多指导。 一种利用领域特定信息的新方法来调整LLM。建议的方法可以在需要快速和有效地从现有LLM开发领域特定模型时使用。 方法 变量提示 动态样本使用语义搜索来获取与输入放射学报告相似的报告语料库中的示例；最终查询由相同的预定义查询与测试报告的“发现”部分组成，任务描述描述了角色。 迭代优化 通过迭代优化组件可以完成一些很酷的事情。这种方法的目标是通过使用迭代提示使ChatGPT逐步改进其答案。对于放射学报告摘要等重要应用来说，这也需要一种响应审查过程来检查回复的质量。 通过基于少量训练样本和迭代方法改进输入提示来研究使用大型语言模型（LLMs）进行放射学报告摘要的可行性。通过挖掘语料库中的合适实例，以在上下文中学习LLMs，然后用于提供交互提示。为了进一步提高输出，使用了一种迭代优化技术。该过程包括根据自动评估反馈教授LLM什么是好的和负面的回复。与使用大量医学文本数据进行预训练的其他方法相比，我们的策略已经证明更优越。在现代通用人工智能中，这项工作也为构建更多领域特定语言模型奠定了基础。 在研究ImpressionGPT的迭代框架时，我们意识到评估模型输出回复的质量是一项重要但困难的任务。研究人员假设，用于训练LLMs的领域特定和通用领域文本之间的巨大差异导致了观察到的评分差异。因此，通过使用细粒度的评估指标来检查获得的结果的具体细节。 为了更好地包含来自公共和本地数据源的领域特定数据，我们将在未来继续优化快速设计，同时解决数据隐私和安全问题，尤其是在处理许多组织时。我们还考虑使用知识图谱来使提示设计适应当前的领域知识。最后，我们计划将医学专家（如放射科医生）纳入到优化提示和对系统提供的结果提供客观反馈的迭代过程中。通过结合人类专家在开发LLMs过程中的判断和观点，我们可以得到更精确的结果。

语言模型（LMs）的出色性能表明，大规模的下一个单词预测可以将文本语料库中的知识有效地蒸馏成交互式代理。LMs在各种自然语言处理基准测试中取得了令人印象深刻的成果，超过了最先进的方法，甚至在需要复杂推理的任务中超过了人类。然而，至关重要的是确定它们的成功是源于任务通用推理能力还是在预训练期间识别和回忆特定任务。 以前的研究主要集中在实例级别的泛化，其中数据污染问题可能会复杂化。在这项研究中，研究人员通过改变执行良好任务的条件或规则来研究LMs对新任务变体的泛化能力。这些任务的一般推理过程保持不变，但是具体的输入-输出映射发生了变化。这些称为反事实任务的新任务偏离了默认条件，并衡量了模型的任务级泛化能力。 研究人员提出了一个由11个反事实评估任务组成的套件，涵盖了多个类别和领域。这些任务包括演绎推理、代码生成、绘图和空间推理。虽然原始任务和其反事实变体之间的推理过程保持一致，但是输入-输出映射不同。这个评估旨在评估LMs在适应新任务变体方面的灵活性。 对GPT-4、GPT-3.5、Claude和PaLM-2在任务的默认和反事实条件下的性能进行评估。结果表明，虽然LMs在反事实性能上表现出高于随机的表现，但与默认设置相比，它们的性能持续下降；这表明模型在这些任务上的成功部分归因于默认条件特定的行为，而不是抽象的、可推广的推理能力。 研究结果还揭示了默认任务和反事实任务之间的令人兴奋的关系。观察到默认和反事实性能之间的相关性，零-shot思维链提示的有效性以及任务和实例级频率效应之间的互动。总体而言，任务默认实例化的轻微变化对LMs构成了挑战，这表明现有模型的成功不应仅仅归因于它们对目标任务的通用能力。