Month: September 2023

通过显著提高广泛任务的最新性能和揭示新的新兴技能，大型语言模型（LLM）对NLP研究和应用产生了深远影响。为了将输入文本编码为表示向量，已经进行了仅编码器模型的研究；为了创建文本，已经研究了仅解码器模型；为了完成序列到序列的生成，已经研究了编码器-解码器模型。模型大小和训练数据集的指数级增长，这两者都是最大性能的扩展率所需的，是LLM卓越能力背后的主要推动力。例如，尽管BERT模型只包含几亿个参数，但更现代的基于GPT的模型现在包含数千亿个参数。 庞大的模型大小和庞大的训练数据集是提升大型语言模型（LLM）具有惊人学习能力的主要要素。随着NLP的发展，LLM已逐渐向公众开放，以鼓励进一步的研究和实际应用。然而，这些LLM的训练数据集通常只提供部分，特别是对于最新的最先进模型。需要进行大量数据清理和去重，以创建高质量的LLM训练数据。因此，对训练数据更加开放的需求，阻碍了复制发现和推进LLM中的幻觉和偏见研究领域的努力。在多语言学习场景中，这些困难在通常不充分收集和清理多语言文本集合的情况下更加复杂。因此，目前没有一个可以用于跨语言训练LLM的良好开源数据集。CulturaX是由俄勒冈大学和Adobe Research的学术界合作开发的，包括167种语言的63万亿个标记的大型多语言数据集，旨在解决这个问题。为了确保模型训练的最高质量，数据集经过严格的处理流程，包括多个清理和去重的步骤。这些过程包括识别数据集中的语言、使用URL过滤数据集、使用度量标准清理数据集、优化文档和去重数据。 CulturaX经过全面的文档级清理和去重，以确保跨语言训练LLM的最高质量。数据清理过程使用完整的流水线来消除不准确的信息。这需要消除不准确的语言识别、有毒数据和非语言材料等干扰因素。 主要特点 CulturaX是迄今为止最大的经过全面清理和去重的开源多语言数据集，可用于LLM和NLP应用。 CulturaX提供了一个多语言、开源和庞大的数据集，具有立即可用和高质量的数据，可用于训练LLM，解决当前数据集的许多问题。 虽然存在包含各种语言文本数据的多语言开源数据集，如mC4，但它们的质量和规模不符合高效训练LLM的要求，特别是生成模型如GPT。例如，如介绍中所提到的，mC4和OSCAR都没有提供文档级模糊去重。mC4的语言识别使用cld3的结果较差，这是另一个缺点。虽然CC100确实包含2018年以后的数据，但BigScience ROOTS只为46种语言提供了部分数据的样本。 HuggingFace的CulturaX的完整公开发布将有助于进一步研究多语言LLM及其应用。在这里查看https://huggingface.co/datasets/uonlp/CulturaX  您应该了解一下CulturaX，这是一个包含167种语言的新的多语言数据集。经过全面的工作流程清理和去重后，数据集中含有63万亿个标记。作为一个庞大而高质量的数据集，CulturaX可以轻松用于训练各种语言的有效LLM。这些信息对公众免费提供，并且研究人员希望它可以激发进一步的语言习得研究和实际应用。

BlindChat是由MithrilSecurity推出的开源和注重隐私的ChatGPT替代方案。BlindChat是一个开源的人工智能项目，旨在在Web浏览器中完全运行，不需要任何第三方访问。当前普遍的每日人工智能解决方案通常包括与AI服务提供商共享用户数据以换取AI模型使用。如果用户允许此类情况发生，他们的数据可能会被窃取。由于数据是提高LLM效果的宝贵资源，因此一些方法会隐含地调整用户的数据以更好地训练模型。用户以这种方式运行着有私人信息的LLMs的风险。 通过执行本地推理或使用称为安全隔离环境的安全、隔离环境，BlindChat确保用户的数据始终保持私密，并且用户完全控制数据。 BlindChat主要面向两个受众： 消费者：提供更安全的选择，优先考虑用户隐私。如今，大多数消费者将数据交给AI服务，但隐私设置通常需要明确或不存在。 BlindChat团队为了开发人员的好处，已经做了大量工作，确保平台在配置和部署方面的简单性，以便他们能够更轻松地提供以隐私为设计的对话式人工智能。 MithrilSecurity对程序进行了更改，以使浏览器执行通常由服务器执行的功能。因此，AI服务提供商不包含在信任模型中，因此隐私得到保护。 通过将功能从服务器移至用户端的浏览器，实现了透明且安全的人工智能，保护了终端用户的个人信息，并赋予他们对数据的控制权。例如，变形器允许在本地执行推理。JavaScript还可以将聊天保存在用户的浏览器历史记录中，提供了额外的便利。结果是，AI服务的管理员无法看到用户的任何信息，因此服务被称为“BlindChat”。 在激活遥远的隔离模式时，数据仅传输到服务器。此设置将服务器部署在被称为隔离区的经过验证和安全的容器中，提供了完整的周界防御，并阻止外界访问。即使是隔离区的AI提供商管理员也无法访问用户信息。 MithrilSecurity为用户提供了两种不同的隐私选项： 在设备上设置中，模型会在用户的浏览器上本地下载，并且推理是在本地处理的。 由于可用带宽和处理能力的限制，此模式最适用于较简单的模型。 使用零信任AI API时，信息会传输到一个被称为隔离区的安全位置，模型在其中存储，以便可以进行远程推理。通过强大的隔离和验证，这些设置提供了全面的安全性。任何AI服务提供商都无法以未加密的方式访问其用户的数据。 该项目由三个主要部分组成： 用户界面：用户与Chat进行交互时看到的界面。其中有一个聊天窗口，并且最终将提供用于加载文档和语音控制等功能的小部件和插件。 开发人员完全控制用于处理用户请求的私有LLM。当前的解决方案是本地模型或远程隔离区，以提供透明和机密的推理。 开发人员可配置用于保存聊天记录等数据的存储类型，将来还可配置RAG嵌入。 MithrilSecurity目前仅允许进行LaMini-Flan-T5推理。一旦370M发布，他们打算集成Microsoft phi-1.5以提高性能。客户端上也正在开发LlamaIndex-TS集成，以便在浏览器中本地查询敏感文档时可以使用RAG。