四海吧 Posts

IGEL是针对文本的指令定制的德语大型语言模型。IGEL 001版本（Instruct-igel-001）是一个原始的概念验证，旨在确定是否可以通过将现有的开源模型与德语翻译指令数据集相结合来构建德语指令定制模型。 IGEL的第一个版本基于BigScience BLOOM，由Malte Ostendorff本地化为德语。IGEL旨在执行与自然语言理解相关的各种任务，包括情感分析、语言翻译和问题回答，在每个领域都具有高准确性和可靠性。 团队想要尝试LLM在德语指令建模任务中的表现如何。他们使用预训练的自定义BLOOM模型（6B）并使用基于翻译指令的数据集进行微调来实现这一目标。为了构建数据集，他们使用了一种称为自动翻译的方法将英语指令转化为德语。尽管由于这种策略存在较大的翻译错误的可能性，但他们的目标是确定模型是否仍然能够学习生成指令回复。 Instruct-igel-001中的LoRA定制BLOOM-CLP Deutsch（6.4B参数）具有用于Hugging Face Transformers的合并权重。在对naive翻译的指令数据集进行训练之前，并没有太多关注数据的清理、筛选或后处理。 团队提到，幻觉、有毒性和刻板印象只是instruct-igel-001存在的一些问题，这些问题在语言模型中很常见。他们计划完成聊天模型的开发，以创建一个对话界面。这将以超越传统的请求-响应方法的方式改善数据质量。

目前，为定制应用实现大型语言模型（LLM）对于大多数个人来说非常困难。创建一个可以以高准确度和速度为专业领域生成内容或模仿写作风格的LLM需要大量时间和专业知识。 Stochastic拥有一支由明智的ML工程师、博士后和哈佛研究生组成的团队，致力于优化和加速LLMs的人工智能。他们推出了xTuring，这是一个开源解决方案，让用户只需三行代码即可创建自己的LLM。 自动化文本传递、聊天机器人、语言翻译和内容生成等应用是人们努力开发和创建具有这些概念的新应用的领域。对这些模型进行训练和微调可能耗时且昂贵。无论使用LLaMA、GPT-J、GPT-2还是其他方法，xTuring都可以轻松快速地进行模型优化。 xTuring作为单GPU或多GPU训练框架的多功能性意味着用户可以根据自己的特定硬件配置定制模型。xTuring使用内存高效的微调技术，如LoRA，加快学习过程，并将硬件支出减少多达90%。通过减少微调所需的内存量，LoRA促进了更快速和有效的模型训练。 xTuring的微调能力使用LLaMA 7B模型作为基准，并将xTuring与其他微调技术进行了比较。数据集包含52K个指令，测试时使用了335GB的CPU内存和4xA100 GPU。 结果表明，使用DeepSpeed + CPU卸载每个时期对LLaMA 7B模型进行21小时的训练时，GPU使用了33.5GB，CPU使用了190GB的内存。而使用LoRA + DeepSpeed或LoRA + DeepSpeed + CPU卸载进行微调时，内存使用量分别降至23.7GB和21.9GB。CPU使用的RAM量从14.9GB降低到10.2GB。此外，使用LoRA + DeepSpeed或LoRA + DeepSpeed + CPU卸载时，训练时间从40分钟缩短到20分钟每个时期。 开始使用xTuring非常简单。该工具的用户界面设计简单易学易用。用户只需几次鼠标点击即可微调模型，剩下的工作由xTuring完成。由于其易用性，xTuring是初学者和有经验用户的理想选择。 团队表示，由于xTuring允许单GPU和多GPU训练，使用LoRA等内存高效方法，并具有直观的界面，因此它是调整大型语言模型的最佳选择。…

近期，著名的BERT模型一直是自然语言处理中领先的语言模型之一。该语言模型适用于多个NLP任务，这些任务将输入序列转换为输出序列。BERT（Bidirectional Encoder Representations from Transformers）使用了Transformer注意机制。注意机制学习文本语料库中单词或子词之间的上下文关系。BERT语言模型是自然语言处理进展的最重要例子之一，并使用了自监督学习技术。 在开发BERT模型之前，语言模型在训练时分析文本序列，要么从左到右，要么从左到右和从右到左结合。这种单向方法对于通过预测下一个单词来生成句子，并将其附加到序列中，然后预测下一个到下一个单词，直到获得完整的有意义的句子的工作效果很好。通过BERT，引入了双向训练，与以前的语言模型相比，它能更深入地理解语言上下文和流。 最初的BERT模型发布为英文。随后，开发了其他语言模型，如法文的CamemBERT和意大利文的GilBERTo。最近，苏黎世大学的研究人员开发了一种适用于瑞士的多语言模型。这个模型名为SwissBERT，它在瑞士标准德语、法语、意大利语和罗曼什语Grischun中训练了超过2100万篇瑞士新闻文章，总计120亿个标记。 SwissBERT的引入是为了克服瑞士研究人员在执行多语言任务时面临的挑战。瑞士主要有四种官方语言-德语、法语、意大利语和罗曼什语，对于每种特定语言，单独的语言模型很难进行组合以执行多语言任务。此外，第四种国家语言罗曼什语也没有单独的神经语言模型。由于在自然语言处理领域实现多语言任务有一定难度，瑞士国家语言在SwissBERT之前没有统一的模型。SwissBERT通过简单地结合这些语言的文章，并通过隐式利用新闻中的共同实体和事件来创建多语言表示，克服了这一挑战。 SwissBERT模型是由预先训练在81种语言中的跨语言模块（X-MOD）转换器重新建模而来。研究人员通过训练自定义语言适配器，将预先训练的X-MOD转换器适应到他们的语料库中。他们为SwissBERT创建了一个瑞士特定的子词汇表，得到的模型包含了1.53亿个参数。 研究团队在一些任务上评估了SwissBERT的性能，包括对当代新闻（SwissNER）中的命名实体进行识别和检测用户生成的对瑞士政治的立场。SwissBERT的表现优于常见的基准模型，并在检测立场方面优于XLM-R。在对罗曼什语的能力进行评估时，发现SwissBERT在零-shot跨语言转移和德语-罗曼什语单词和句子的对齐方面明显优于未经该语言训练的模型。然而，在识别历史上经过OCR处理的新闻中的命名实体方面，该模型表现不佳。 研究人员发布了带有用于下游任务微调的SwissBERT示例。这个模型在未来的研究甚至非商业目的上似乎很有前景。通过进一步的适应，下游任务可以从该模型的多语言能力中受益。