Month: July 2023

目前，为定制应用实现大型语言模型（LLM）对于大多数个人来说非常困难。创建一个可以以高准确度和速度为专业领域生成内容或模仿写作风格的LLM需要大量时间和专业知识。 Stochastic拥有一支由明智的ML工程师、博士后和哈佛研究生组成的团队，致力于优化和加速LLMs的人工智能。他们推出了xTuring，这是一个开源解决方案，让用户只需三行代码即可创建自己的LLM。 自动化文本传递、聊天机器人、语言翻译和内容生成等应用是人们努力开发和创建具有这些概念的新应用的领域。对这些模型进行训练和微调可能耗时且昂贵。无论使用LLaMA、GPT-J、GPT-2还是其他方法，xTuring都可以轻松快速地进行模型优化。 xTuring作为单GPU或多GPU训练框架的多功能性意味着用户可以根据自己的特定硬件配置定制模型。xTuring使用内存高效的微调技术，如LoRA，加快学习过程，并将硬件支出减少多达90%。通过减少微调所需的内存量，LoRA促进了更快速和有效的模型训练。 xTuring的微调能力使用LLaMA 7B模型作为基准，并将xTuring与其他微调技术进行了比较。数据集包含52K个指令，测试时使用了335GB的CPU内存和4xA100 GPU。 结果表明，使用DeepSpeed + CPU卸载每个时期对LLaMA 7B模型进行21小时的训练时，GPU使用了33.5GB，CPU使用了190GB的内存。而使用LoRA + DeepSpeed或LoRA + DeepSpeed + CPU卸载进行微调时，内存使用量分别降至23.7GB和21.9GB。CPU使用的RAM量从14.9GB降低到10.2GB。此外，使用LoRA + DeepSpeed或LoRA + DeepSpeed + CPU卸载时，训练时间从40分钟缩短到20分钟每个时期。 开始使用xTuring非常简单。该工具的用户界面设计简单易学易用。用户只需几次鼠标点击即可微调模型，剩下的工作由xTuring完成。由于其易用性，xTuring是初学者和有经验用户的理想选择。 团队表示，由于xTuring允许单GPU和多GPU训练，使用LoRA等内存高效方法，并具有直观的界面，因此它是调整大型语言模型的最佳选择。…

近期，著名的BERT模型一直是自然语言处理中领先的语言模型之一。该语言模型适用于多个NLP任务，这些任务将输入序列转换为输出序列。BERT（Bidirectional Encoder Representations from Transformers）使用了Transformer注意机制。注意机制学习文本语料库中单词或子词之间的上下文关系。BERT语言模型是自然语言处理进展的最重要例子之一，并使用了自监督学习技术。 在开发BERT模型之前，语言模型在训练时分析文本序列，要么从左到右，要么从左到右和从右到左结合。这种单向方法对于通过预测下一个单词来生成句子，并将其附加到序列中，然后预测下一个到下一个单词，直到获得完整的有意义的句子的工作效果很好。通过BERT，引入了双向训练，与以前的语言模型相比，它能更深入地理解语言上下文和流。 最初的BERT模型发布为英文。随后，开发了其他语言模型，如法文的CamemBERT和意大利文的GilBERTo。最近，苏黎世大学的研究人员开发了一种适用于瑞士的多语言模型。这个模型名为SwissBERT，它在瑞士标准德语、法语、意大利语和罗曼什语Grischun中训练了超过2100万篇瑞士新闻文章，总计120亿个标记。 SwissBERT的引入是为了克服瑞士研究人员在执行多语言任务时面临的挑战。瑞士主要有四种官方语言-德语、法语、意大利语和罗曼什语，对于每种特定语言，单独的语言模型很难进行组合以执行多语言任务。此外，第四种国家语言罗曼什语也没有单独的神经语言模型。由于在自然语言处理领域实现多语言任务有一定难度，瑞士国家语言在SwissBERT之前没有统一的模型。SwissBERT通过简单地结合这些语言的文章，并通过隐式利用新闻中的共同实体和事件来创建多语言表示，克服了这一挑战。 SwissBERT模型是由预先训练在81种语言中的跨语言模块（X-MOD）转换器重新建模而来。研究人员通过训练自定义语言适配器，将预先训练的X-MOD转换器适应到他们的语料库中。他们为SwissBERT创建了一个瑞士特定的子词汇表，得到的模型包含了1.53亿个参数。 研究团队在一些任务上评估了SwissBERT的性能，包括对当代新闻（SwissNER）中的命名实体进行识别和检测用户生成的对瑞士政治的立场。SwissBERT的表现优于常见的基准模型，并在检测立场方面优于XLM-R。在对罗曼什语的能力进行评估时，发现SwissBERT在零-shot跨语言转移和德语-罗曼什语单词和句子的对齐方面明显优于未经该语言训练的模型。然而，在识别历史上经过OCR处理的新闻中的命名实体方面，该模型表现不佳。 研究人员发布了带有用于下游任务微调的SwissBERT示例。这个模型在未来的研究甚至非商业目的上似乎很有前景。通过进一步的适应，下游任务可以从该模型的多语言能力中受益。

随着大型语言模型（LLM）的最近引入，其多样性和能力引起了人工智能领域的广泛关注。这些模型经过大量数据的训练，具备了在自然语言指令下理解、推理和生成文本的出色人类模仿能力。这些模型在零样本和少样本任务中表现良好，可以根据自然语言指令进行微调，以应对未预见的挑战。 当前的LLM及其开发主要集中在英语和资源丰富的语言上。大多数现有的LLM专门针对英语进行设计和训练，导致这些模型的研究和开发中存在英语的主导偏见。为了解决这个限制，来自DAMO Academy和阿里巴巴集团的研究人员提出了一种多语种LLM，称为POLYLM（多语种大型语言模型）。与现有的缺乏13B模型的多语种LLM不同，该团队发布了POLYLM-13B和POLYLM-1.7B以促进使用。 POLYLM是使用来自公开可访问的源（包括维基百科、mC4和CC-100）的640B标记的大规模数据集构建的。团队还提出了一种课程学习技术，以解决低资源语言的数据不足问题。该方法在训练过程中逐渐增加高质量的低资源语言比例，同时最初更加关注英语。重点是将通用知识从英语转移到其他语言。 该团队还开发了MULTIALPACA，一种多语种指令数据集，用于监督微调（SFT）阶段。现有的多语种SFT数据集要么通过手动注释获得（耗时且昂贵），要么通过机器翻译获得（可能导致翻译错误且缺乏文化细微差别）。这种多语种自我指导方法自动提供高质量的多语种指令数据，以克服这些限制，并利用英语种子、多语种翻译、指令生成和过滤系统。 为了评估和评估LLM的多语种能力，该团队开发了一个基准，该基准源于现有的多语种任务，包括问答、语言理解、文本生成和跨语言机器翻译。该基准通过精心设计的提示覆盖了15种语言的十个任务。通过大量实验，该团队证明了他们的预训练模型在非英语语言中的性能优于开源模型。所提出的课程训练策略在保持英语熟练度的同时提高了多语种性能。使用多语种指令数据还显著增强了POLYLM处理多语种零样本任务的能力。 该团队总结了以下贡献。 开发了一个熟练的13B规模模型，其在西班牙语、俄语、阿拉伯语、日语、韩语、泰语、印尼语和中文等主要非英语语言中表现良好。该模型补充了现有开源模型在这些语言中要么不熟练，要么具有较小版本且能力不同的不足之处。 提出了一种先进的课程学习方法，促进了从英语到多种非英语语言和特定自然语言处理任务（如机器翻译）的通用知识的传递。 提出了一个名为MULTIALPACA的数据集，它补充了现有的指令数据集，使LLM能够更好地遵循多语种指令，特别是来自非英语母语的指令。