Tag: Artificial intelligence

人工智能（AI）和机器学习（ML）的能力使它们成功地进入了各个行业。最近，随着大型语言模型（LLMs）和问答系统的引入，AI社区取得了很大的进展。从预先计算好的包含问题-答案配对的数据库中高效地检索响应是自动问答（QA）系统的常见步骤。 有两种主要的QA范例：开放式和闭塞式。开放式范例，或称为取阅和阅读，是一个两步骤过程，其中相关材料是从庞大的文档语料库（经常是互联网）中获得的，然后通过应用不同的模型和方法从已获得的材料中提取解决方案。另一方面，闭塞式方法较新，依赖于在训练中学习的技能，这些使用该范例的模型通常基于Seq2Seq模型如T5，可以在不使用外部语料库的情况下产生结果。 虽然闭塞式技术显示出了显着的结果，但对于许多工业应用来说，资源消耗太大，并对系统性能构成重大风险。数据库问答（DBQA）是一种从预先生成的问题-答案对数据库中检索响应而不是依赖于模型参数或大型语料库中的信息的方法。 这些系统的三个主要部分是问题和答案的数据库、查询数据库的检索模型和选择最佳答案的排名模型。DBQA技术能够进行快速的推理，并具备添加新对并避免重新训练模型的能力，从而引入新的信息。 数据库问答技术的检索和排名模型开发的主要问题之一是缺乏实质性的训练数据。现有资源在范围和内容方面还不足，因为其中很多需要改进注释过程的质量或只关注问题之间的相似性，忽视了答复。 为了克服这些挑战，一组研究人员提出了一个名为QUADRo的问题-答案数据库检索数据集和模型。这是一个新的、面向开放域的注释资源，专门用于训练和评估模型。这个资源中每一个15,211个输入问题都有30个相关问题-答案对。这个收集总共有443,000个标注样本。每对的二进制指示器标记了它在与输入查询的关系中的重要性。 该团队还进行了全面的实验，以评估该资源与几个重要QA系统组件的质量和特性的关系。这些组件包括训练方法、输入模型配置和答案的相关性。通过对在该数据集上训练的模型的行为和性能进行检查，实验证明了所建议的方法在检索相关响应方面的效果。 总之，该研究通过引入一种有用的资源并仔细评估该资源的属性，解决了自动质量保证系统中训练和测试数据的不足。重视培训策略和答案相关性等重要元素有助于对该资源的全面了解。

我们能更高效地优化大型语言模型吗？ 由来自微软、南加州大学和俄亥俄州立大学等多个机构的研究人员组成的研究团队进行了广泛的算法改进回顾，目标是提高LLMs的效率，并涵盖了扩展规律、数据利用、架构创新、训练策略和推理技术。这些全面的洞察旨在为高效的LLMs的未来创新奠定基础。 涵盖扩展规律、数据利用、架构创新、训练策略和推理技术，概述了核心LLM概念和效率度量。该回顾提供了对为提高LLM效率做出贡献的方法的全面、最新的概述。研究人员鼓励提供额外参考文献的建议，承认可能会忽视相关研究。 LLMs在自然语言理解中扮演着重要角色。然而，它们高昂的计算成本使得它们对每个人都不容易获得。为了克服这一挑战，研究人员不断进行算法改进，以提高它们的效率并使其更易获得。这些进展为人工智能的未来创新，尤其是在自然语言处理领域铺平了道路。 本研究调查了增强LLMs效率的算法进展。它考察了各种效率方面，包括扩展规律、数据利用、架构创新、训练策略和推理技术。并提到了Transformer、RWKV、H3、Hyena和RetNet等具体方法。讨论包括知识蒸馏方法、紧凑模型构建方法，以及基于频率的注意力建模和计算优化技术。 本调查综合性地研究了LLM效率而非专注于特定领域，涵盖了包括扩展规律、数据利用、架构创新、训练策略和推理技术在内的多样化效率方面。作为一种有价值的资源，它为LLM效率的未来创新奠定了基础。提供一个参考仓库增强了进一步探索和研究此关键领域的效用。然而，研究中提到的个别研究和方法的具体结果和发现应明确提供在给定的来源中。 总而言之，本调查深入探讨了可提高LLM技术效率的最新算法改进。它涵盖了扩展规律、数据利用、架构创新、训练策略和推理技术。调查强调了算法解决方案的重要性，并探讨了模型压缩、知识蒸馏、量化和低秩分解等方法来提高LLM的效率。这个全面的调查是一种重要工具，可以提供关于LLM效率现状的丰富的有价值洞察。

“`html 谷歌最新推出的人工智能项目“Gemini”代表了人工智能技术的重大飞跃。作为一个具有非凡能力的AI模型，Gemini是谷歌对AI优先战略的持续承诺的证明。该发展不仅是谷歌的里程碑，也对AI领域有广泛的影响，为全球的开发者、企业和终端用户带来了新的可能性和增强功能。 Gemini由Google DeepMind与谷歌研究部门合作开发，被设计成固有的多模态模型。这意味着它可以理解、处理和整合各种信息类型，包括文本、代码、音频、图像和视频。该模型的体系结构使其可以在各种设备上高效运行，从数据中心到移动设备，凸显了它的灵活性和适应性。 Gemini的第一个版本，Gemini 1.0，有三个变体：Gemini Ultra，Gemini Pro和Gemini Nano。每个变体都针对特定用例进行了优化： Gemini Ultra：这是最全面的模型，适用于高度复杂的任务。在30个32项学术基准测试中表现出了卓越的性能，超过了当前32个基准测试中的最先进结果。值得注意的是，它是第一个在大规模多任务语言理解（MMLU）方面超越人类专家的模型，这项测试在多个领域测试知识和问题解决能力。 Gemini Pro：被认为是在各种任务上扩展的最佳模型，Gemini Pro在功能和多功能之间提供了平衡。 Gemini Nano：针对设备上的任务进行了优化，这个版本是最高效的，适用于移动设备和类似平台。 Gemini的一个关键优势是其复杂的推理能力。该模型可以解析和解释复杂的书面和视觉信息，使其在处理大规模数据集中隐藏的知识方面特别擅长。这种能力预计将在科学和金融等各个领域推动突破。 在编码方面，Gemini Ultra展示了卓越的熟练度。它可以理解、解释和生成多种编程语言的高质量代码，使其成为领先的编码基础模型之一。 https://storage.googleapis.com/deepmind-media/gemini/gemini_1_report.pdf 然而，需要注意的是，Gemini不仅仅是一个单一的模型，而是一个模型系列，每个模型都旨在满足不同的需求和计算环境。这种方法标志着与传统的创建多模态模型的方法有所不同，传统方法通常涉及为不同的模态训练并组合各个组件。相比之下，Gemini从一开始就具有多模态特性，更无缝、有效地整合各种信息类型。 总之，谷歌的Gemini代表了人工智能领域的重大进展。它的多模态能力、灵活性和最先进的性能使其成为广泛应用于各种领域的强大工具。它体现了谷歌对负责任的AI发展的雄心壮志和承诺，推动了对越来越强大的AI系统在社会和伦理方面的影响所能达到的极限。 “`

近几个月来，大型语言模型（LLMs）的受欢迎度显著上升。基于自然语言处理、自然语言理解和自然语言生成的优势，这些模型在几乎每个行业中展示了它们的能力。随着生成式人工智能的引入，这些模型已经被训练成可以像人类一样产生文字回应。 通过着名的GPT模型，OpenAI展示了LLMs的强大能力，并为转型发展铺平了道路。通过微调和检索增强生成（RAG）等方法，提高了AI模型的能力，为更精确和上下文丰富的回应提供了答案。 检索增强生成（RAG） RAG将基于检索和生成的模型结合在一起。与传统生成式模型不同，RAG在不改变基础模型的情况下融入有针对性和当前性的数据，使其能够超越现有知识的边界。 RAG的基本思想是基于特定组织或领域数据构建知识库。随着知识库的定期更新，生成式人工智能可以访问当前和上下文相关的数据。这使得模型能够以更精确、复杂和适合组织需求的方式回应用户输入。 大量动态数据被转换为标准格式，并存储在知识库中。然后，使用嵌入式语言模型对数据进行处理，创建数值表示，并保存在向量数据库中。RAG确保AI系统不仅能产生文字，还能使用最新的和相关的数据。 微调 微调是一种通过对经过预训练的模型进行定制以执行指定动作或显示特定行为的方法。它包括采用已经训练过大量数据点的现有模型，并对其进行修改以实现更具体的目标。可以将擅长生成自然语言内容的预训练模型优化为关注制作笑话、诗歌或摘要。通过微调，开发人员可以将庞大模型的整体知识和技能应用于特定的主题或任务。 微调对于提高特定任务的性能尤其有益。通过通过精心选择的数据集提供专业信息，模型在特定任务中变得熟练，能够产生精确和上下文相关的输出。与从头开始的训练相比，微调大大减少了所需的时间和计算资源，因为开发人员可以利用预先存在的信息。该方法使得模型能够通过适应特定领域来更有效地给出集中的答案。 评估微调和RAG时考虑的因素 RAG通过定期从外部源请求最新数据而无需频繁模型重新训练，在动态数据情况下表现异常出色。而微调则缺乏召回的保证，因此不太可靠。 RAG通过从其他来源获取相关数据增强了LLMs的能力，非常适合需要访问外部知识的应用，如文档摘要、开放域问答和能够从知识库检索数据的聊天机器人。而微调外部信息对于经常更改的数据源可能不可行。 RAG阻止了对较小模型的使用。而微调则提高了小型模型的效能，能够实现更快、更便宜的推理。 RAG可能不会根据所获得的信息自动调整语言风格或领域专业化，因为它主要专注于信息检索。通过微调允许调整行为、写作风格或特定领域知识，能够提供与特定风格或专业领域深度匹配的答案。 RAG通常不容易出现错误的信息，它的每个答案都是基于检索到的信息。微调可能会减少错误信息，但当面对新的刺激时，可能仍会造成虚构的反应。 RAG通过将响应生成分为离散阶段，提供了透明度，并提供了检索数据的信息。微调增加了回答背后逻辑的不透明性。 RAG和微调的用例有何不同？ LLMs可以用于多种NLP任务的微调，如文本分类、情感分析、文本生成等，其中主要目标是根据输入理解和产生文本。RAG模型在需要访问外部知识的任务情况下表现出色，如文档摘要、开放域问答和能够从知识库检索数据的聊天机器人。 基于训练数据的RAG和Fine-tuning的区别 在对LLM进行Fine-tuning时，虽然它们不专门使用检索方法，但它们依赖于任务特定的训练材料，这些材料通常是与目标任务匹配的标记示例。另一方面，RAG模型被训练用于检索和生成任务。这需要将显示成功检索和使用外部信息的数据与生成的监督数据进行结合。 架构差异 为了对LLM进行Fine-tuning，通常需要使用诸如GPT等预训练模型，并在任务特定数据上对其进行训练。架构不变，只对模型参数进行微小修改，以最大化特定任务的性能。RAG模型具有混合架构，通过将外部存储模块与基于GPT的transformer式LLM相结合，实现了从知识源（如数据库或文档集合）的有效检索。 结论 总之，在人工智能这个不断变化发展的领域中，选择RAG和Fine-tuning之间的方法取决于应用需求。这些方法的组合可能会导致更复杂、更适应性强的AI系统，随着语言模型的不断发展。 参考资料…

最近，语言模型中出现了一个关键问题，即语言模型（LMs）提供错误信息的高比率，包括对不存在的文章标题的引用。《韦氏词典》将幻觉定义为“由人工智能算法生成的合理但错误或误导性响应”。有一次，提交了他们认为准确无误的法律研究文件的律师面临5000美元的罚款。在医学领域，患者的幻觉可能是致命的，医生担心被控以疏忽罪。此外，媒体广泛报道了幻觉问题，美国总统最近发布了《行政命令》，要求包括针对生成式人工智能系统产生的欺骗性结果的保护在内的措施。 在这项工作中，来自微软研究院和乔治亚理工学院的研究人员提出了校准事实预测器的学习机器（LMs）的幻觉率的统计下界。这揭示了幻觉的特性。这并不意味着幻觉是不可避免的。正如研究小组将讨论的那样，这与实践者越来越多地使用“预训练”程序和“后训练”程序相补充的趋势更加一致，这可以降低幻觉率和校准。LM只是一种对标记序列（即单词或其他字符序列）的概率分布D。任何一个预测每个字符串的LM（这是LM的典型特征）都将必然以正概率产生幻觉。然而，如果此概率较低，则幻觉将不常见。因此，测量幻觉的频率是必要的。 完整序列上的对数概率或给定前面的标记的条件对数概率可以用于等同地表示任何分布D：log D(t1… tm) = Pm i=1 log D(ti | t1 … ti−1)。这看似微不足道的数学等价性有重要的含义。虽然预测和生成有不同的要求，但任何LM都可以用来产生文本或预测自然出现的文本中下一个标记，条件是考虑到前面的标记。例如，考虑以下句子：Alexa Wilkins 上周二去Salumeria吃午饭，因为评论说金枪鱼三明治很棒。一种预测性语言模型可能会建议这样的句子以减少打字。预测性语言模型可能会将三明治作为一个单词进行预测，作为紧接在金枪鱼一词之后的输入，同时还可能出现其他可能的单词，比如沙拉。 然而，如果生成式LM随机制造许多这类句子，那就会是错误的。根据本文的说法，即使在理想条件下，具有强大预测文本能力的语言模型也会产生幻觉。值得注意的是，在现今的 typic 的预训练初始步骤中，生成式LM是为了预测性文本表现而量身定制的。此外，它为幻觉率提供了一个下限，这可能揭示了不同类型事实应该产生幻觉的各种速率。上述例子和可能的参考资料（被研究小组称为5W=谁-吃了什么-何时-哪里-为什么事实）共同拥有的特点是它们都是任意的，即这些事实大部分无法依据规则进行系统认证；也就是说，大部分这些事实无法验证，因为它们不包含在训练数据中。 与可以经过系统认证的事实相对。即使在具有多个理想条件的简化情况下，研究小组也能估算出LM应该产生的幻觉数量。研究小组更喜欢简单而非普遍性，因为他们的下界是统计的，他们的目标是确定LM产生幻觉的潜在源头。他们提出了一种校准到生成模型的自然扩展。他们的想法与LM中先前的校准应用不同，之前的校准是基于标记级别的。由于每个事实可以用各种方式使用自然语言来描述，当评估原始标记概率时，校准标记概率只有在评估原始标记概率时才有用。相反，他们的语义级校准是考虑到文本中信息（事实或幻觉）的位分布。如果LM在概率a ≈ z的情况下，对应于该概率z ∈ [0, 1]中的任何给定概率z的信息在自然出现的语言的一部分中平均出现，则该LM被认为是校准的（最好是从训练数据收集的分布）。…

<img alt=”” src=”https://ai.miximages.com/www.marktechpost.com/wp-content/uploads/2023/12/Screenshot-2023-12-05-at-3.51.10-PM-1024×594.png”/><img alt=”” src=”https://ai.miximages.com/www.marktechpost.com/wp-content/uploads/2023/12/Screenshot-2023-12-05-at-3.51.10-PM-150×150.png”/><p>上海人工智能实验室和MIT CSAI的研究人员开发了层次化门控循环神经网络（HGRN）技术，它通过将遗忘门加入线性RNN中，解决了增强序列建模的挑战。其目的是使上层能够捕捉长期依赖关系，同时允许下层专注于短期依赖关系，特别是处理非常长的序列时。</p><p>该研究探讨了Transformers在序列建模中的优势，由于并行训练和长期依赖能力，但同时也注意到了使用线性RNN进行高效序列建模的兴趣再度增加，强调了遗忘门的重要性。它考虑了线性递归和长卷积作为处理长序列的自注意力模块的替代方法，并强调了长卷积中的挑战。论文还探讨了RNN在建模长期依赖性和使用门控机制方面的局限性。</p><p>序列建模在自然语言处理、时间序列分析、计算机视觉和音频处理等各个领域都至关重要。在Transformers问世之前，RNN经常被使用，但面临训练速度慢和建模长期依赖关系的挑战。Transformers在并行训练方面表现出色，但对于长序列具有二次时间复杂度。</p><p>该研究提出了用于高效序列建模的HGRN模型，由具有令牌和通道混合模块的堆叠层组成。线性递归层中的遗忘门使得上层能够建模长期依赖性，而下层能够建模局部依赖性。令牌混合模块采用了受状态空间模型启发的输出门和投影。门控机制和动态衰减率解决了梯度消失问题。在语言建模、图像分类和长距离基准测试中的评估结果表明了HGRN的高效性和有效性。</p><p>所提出的HGRN模型在自回归语言建模、图像分类和长距离基准测试中表现出色。在语言任务中，它优于高效变体的原始Transformer、基于多层感知机和基于RNN的方法，与原始Transformer的性能相当。在常识推理和Super GLUE等任务中，它在使用更少令牌的情况下与基于Transformer的模型相匹配。HGRN在处理长期依赖性方面在长距离基准测试中取得了有竞争力的结果。在ImageNet-1K图像分类中，HGRN优于先前的方法（如TNN和原始Transformer）。</p><p>总之，HGRN模型在各种任务和模态中都证明了其高度有效性，包括语言建模、图像分类和长距离基准测试。其使用遗忘门以及对其值的下界设置使得对长期依赖关系的高效建模成为可能。在语言任务中，HGRN优于变体的原始Transformer、基于多层感知机和基于RNN的方法，并在ImageNet-1K图像分类中表现出色，超过了TNN和原始Transformer等方法。</p><p>HGRN模型的未来发展方向包括在各个领域和任务中进行广泛的探索，以评估其泛化能力和有效性。研究不同超参数和架构变化的影响旨在优化模型的设计。通过评估额外的基准数据集并与最先进的模型进行比较，可以进一步验证其性能。将探索辅助注意力或其他门控机制等潜在改进方法，以增强对长期依赖关系的捕捉。将研究更长序列的可扩展性以及并行扫描实现的益处。对可解释性的进一步分析旨在深入了解决策过程并提高透明度。</p>