Press "Enter" to skip to content

23 search results for "PyG"

使用Amazon SageMaker上的多模型模型构建一个图像到文本生成AI应用程序

在本篇文章中,我们将提供流行的多模态模型概述我们还将演示如何在Amazon SageMaker上部署这些预训练模型此外,我们还将讨论这些模型的各种应用,特别侧重于一些现实场景,如电子商务中的零样本标签和属性生成,以及从图像中自动生成提示语

Leave a Comment

遇见Nous-Hermes-Llama2-70b:一种在超过300,000条指令上进行优化的最先进语言模型

Hugging Face Transformer是Python中非常受欢迎的库,为各种自然语言处理任务提供了非常有用的预训练模型。它以前只支持PyTorch,但现在也支持Tensorflow。Nous-Hermes-Llama2-70b是NLP语言模型,使用了数十万条指令。该模型使用与旧的Hermes模型相同的数据集,以确保在训练模型时没有严重的广泛变化,并且过程变得更加顺利。该模型仍然存在一些缺陷,如较低的幻觉率和缺乏OpenAI审查。 模型训练是在大型数据集上完成的,这些数据集在处理的数据量和样式方面非常高。数据来自不同的来源,并合并为一个数据集,从而在处理的数据集中获得了多样的知识。数据集收集了来自Teknium、Karan4D、Emozilla、Huemin Art和Pygmalion AI等不同来源的数据。模型使用了Alpaca模型进行训练。研究团队对来自自我指导评估数据集的输入进行了人工评估,以评估Alpaca。研究人员收集了这个评估集,并包含了几乎涵盖了所有内容的多样化用户指令的列表。 研究人员还表示,Prompt工程师也将受益于这个已执行的模型。研究人员相信,发布上述资产将使学术界能够对指令跟踪语言模型进行控制科学研究,并最终导致解决该模型中存在的现有缺陷的新技术的出现。部署Alpaca的交互式演示还存在潜在风险,例如更广泛地传播有害内容并降低垃圾邮件的机会。NLP中的垃圾邮件检测技术在这个模型中也起着重要的作用。研究人员了解到,一旦发布模型权重或用户训练其指令跟踪模型,这些缓解措施就可以得到实现。 该项目的未来计划还包括迭代高质量数据并应用技术来去除低质量数据。研究人员还需要对Alpaca进行更严格的评估。他们还将从HELM模型开始,希望能够捕捉更多生成信息。研究人员还希望研究Alpaca的风险,并努力进一步提高其安全性。

Leave a Comment

图机器学习简介

在这篇博文中,我们介绍了图机器学习的基础知识。 我们首先研究了图是什么,为什么要使用图,以及如何最好地表示它们。然后简要介绍了人们在图上学习的方法,从前神经方法(同时探索图特征)到通常称为图神经网络的方法。最后,我们瞥见了用于图的Transformer。 图 什么是图? 本质上,图是通过关系链接的项目的描述。 图的示例包括社交网络(Twitter、Mastodon、任何将论文和作者链接起来的引用网络)、分子、知识图(如UML图、百科全书和带有页面之间超链接的任何网站)、以其句法树表示的句子、任何三维网格等等!因此,可以说图无处不在。 图的项目(或网络)称为其节点(或顶点),它们之间的连接称为边(或链接)。例如,在社交网络中,节点是用户,边是它们之间的连接;在分子中,节点是原子,边是它们之间的化学键。 具有类型节点或类型边的图称为异构图(例如:引用网络中的项目可以是论文或作者,具有类型节点;XML图中的关系是有类型的,具有类型边)。它不能仅通过其拓扑结构来表示,它需要额外的信息。本文重点介绍同质图。 图也可以是有向的(如关注者网络,A关注B并不意味着B关注A)或无向的(如分子,原子之间的关系是双向的)。边可以连接不同的节点或一个节点本身(自连接),但不是所有节点都需要连接。 如果要使用您的数据,您必须首先考虑其最佳描述方式(同质/异构、有向/无向等)。 图有什么用途? 让我们看一下我们可以在图上做哪些可能的任务。 在图级别上,主要任务包括: 图生成,在药物发现中用于生成新的合理分子。 图演化(给定一个图,预测它随时间的演化),在物理学中用于预测系统的演化。 图级别的预测(从图中进行分类或回归任务),例如预测分子的毒性。 在节点级别上,通常是节点属性预测。例如,Alphafold使用节点属性预测来预测给定分子的整体图的情况下,原子的三维坐标,从而预测分子在三维空间中的折叠方式,这是一个困难的生物化学问题。 在边级别上,可以是边属性预测或缺失边预测。边属性预测有助于药物副作用预测,可以根据一对药物预测不良副作用。缺失边预测在推荐系统中用于预测图中两个节点是否相关。 还可以在子图级别上进行社区检测或子图属性预测。社交网络使用社区检测来确定人们的联系方式。子图属性预测可以在行程系统(例如Google Maps)中找到,用于预测预计到达时间。 在这些任务上工作可以通过两种方式完成。 当您想要预测特定图的演化时,您可以在遍历设置中进行工作,其中所有内容(训练、验证和测试)都在同一个图上完成。如果这是您的设置,请注意!从单个图创建训练/评估/测试数据集并不简单。然而,大部分工作都是使用不同的图进行的(分开的训练/评估/测试拆分),这被称为归纳设置。 我们如何表示图? 用于处理和操作图的常见表示方法有: 作为所有边的集合(可能补充有所有节点的集合)…

Leave a Comment

使用Transformer进行图分类

在之前的博客中,我们探讨了关于图机器学习的一些理论方面。这篇博客将介绍如何使用Transformers库进行图分类(您也可以通过下载演示笔记本来跟随这个过程!) 目前,在Transformers中唯一可用的图转换模型是微软的Graphormer,所以我们将在这里使用它。我们期待看到其他人将会使用和整合哪些模型 🤗 要求 要按照本教程操作,您需要安装datasets和transformers(版本>=4.27.2),您可以使用pip install -U datasets transformers来安装。 数据 要使用图数据,您可以从自己的数据集开始,或者使用Hub上提供的数据集。我们将重点介绍如何使用已有的数据集,但是您也可以随意添加您自己的数据集! 加载 从Hub加载图数据集非常简单。让我们加载”ogbg-mohiv”数据集(Stanford的Open Graph Benchmark中的一个基准数据集),该数据集存储在OGB仓库中: from datasets import load_dataset # Hub上只有一个分割 dataset = load_dataset(“OGB/ogbg-molhiv”) dataset…

Leave a Comment

什么是大型语言模型(LLMs)?LLMs的应用和类型是什么?

被称为大型语言模型的计算机程序为软件提供了分析和创建文本的新选项。大型语言模型通常使用千兆字节甚至更多的文本数据进行训练,使其大小达到几十兆字节。模型的参数是从先前的训练数据中学到的组件,从本质上来说,它们确定了模型在任务(如文本生成)上的熟练程度。自然语言处理(NLP)活动,包括语音转文字、情感分析、文本摘要、拼写检查、令牌分类等,都依赖于语言模型作为其基础。语言模型可以分析文本并预测大多数自然语言处理任务中下一个令牌出现的可能性。Unigram、N-gram、指数和神经网络都是语言模型的有效形式。 LLM的应用 下图总结了目前大型语言模型(LLM)的功能、产品和支持软件方面的现状。 图片来源:https://cobusgreyling.medium.com/the-large-language-model-landscape-9da7ee17710b Shell命令生成 下一代终端Warp利用GPT-3将自然语言转化为可执行的shell指令,类似于GitHub Copilot,但用于终端。 即使对于经验丰富的程序员来说,shell命令的语法可能也需要解释。 正则表达式生成 开发人员编写正则表达式是一项耗时的任务,然而Autoregex.xyz利用GPT-3自动化这个过程。 文案撰写 这项任务最常用的模型是GPT-3,但也有开源替代方案,如BigScience的BLOOM和Eleuther AI的GPT-J。Copy ai、Copysmith、Contenda、Cohere和Jasper ai是在这一领域开发应用程序的一些初创公司,它们的工具可以更快、更轻松地编写博客文章、销售内容、数字广告和网站文案。 分类 将文本分类到预定类别是一种监督学习的例子。通过使用聚类这种无监督学习技术,可以将具有相似含义的文本聚类在一起,而无需使用预定义的类别。 回应生成 回应生成是使用示例对话生成对话流的思路,并采用机器学习方法。在这种方法中,下一次呈现给用户的对话取决于模型,考虑到用户的过去回答和最有可能的未来对话,这被称为预测式对话。 文本生成 LLM的能力从简要描述中生成测试,无论是否有示例数据,都可以被视为其“元能力”。 几乎所有LLM都能扮演生成的角色。少样本学习数据不仅显著提升了生成能力,而且数据的构造也影响着数据的使用方式。 知识回答 知识回答是知识密集型自然语言处理(KI-NLP)的应用,它允许对通用和跨领域的问题进行回答,而无需查询应用程序接口(API)或依赖传统的知识存储。 知识密集型自然语言处理不是网络搜索,而是基于语义搜索的知识库。…

Leave a Comment

Contextual AI推出LENS:一种用于视觉增强语言模型的AI框架,其在VQAv2上的表现比Flamingo高出9%(从56%提升至65%)

大型语言模型(LLMs)近年来在自然语言理解方面取得了重大突破,尤其在零样本和少样本环境下,展示出卓越的语义理解、查询解决和文本生成能力。如图1(a)所示,已经提出了多种方法来使用LLMs处理涉及视觉的任务。光学编码器可以被训练成将每张图片表示为一系列连续的嵌入,让LLM能够理解它。另一种方法是使用对比训练的冻结视觉编码器,同时在冻结的LLM上添加额外的层,然后从头开始学习。 另一种方法建议训练一个轻量级的Transformer来对齐一个冻结的视觉编码器(经过对比训练的预训练)和一个冻结的LLM。尽管在上述研究中取得了进展,但仍然难以证明额外的预训练阶段的计算成本是合理的。此外,为了将视觉和语言模态与现有的LLM同步,需要大量的数据库,包括文本、照片和视频。Flamingo在预训练的LLM中增加了新的跨注意力层,以增加视觉特征。 图1:比较协调视觉和语言模态的方法。多模态预训练有两个选择:(a)使用配对或网络数据集;(b)LENS,一种无需额外多模态数据集就可以与任何现成的LLM一起使用的无预训练技术。与LENS不同,以前的方法需要在大规模多模态数据集上进行联合对齐预训练,以完成视觉任务。 多模态预训练阶段需要惊人的20亿个图片-文本对和4300万个网站,即使使用预训练的图像编码器和预训练的冻结LLM,也可能需要15天的时间。相反,他们可以使用各种“视觉模块”从视觉输入中提取信息,并生成详细的文本表示(如标签、属性、动作和关系等),然后直接将其馈送给LLM,避免了额外的多模态预训练的需要,如图1(b)所示。Contextual AI和斯坦福大学的研究人员引入了LENS(Large Language Models Enhanced to See),这是一种模块化策略,将LLM作为“推理模块”使用,并在不同的“视觉模块”之间运行。 他们首先使用预训练的视觉模块(如对比模型和图像字幕模型)在LENS技术中提取丰富的文本信息。然后将文本发送到LLM,使其能够进行对象识别、视觉和语言(V&L)等任务。LENS通过消除对额外多模态预训练阶段或数据的需求,免费地弥合了模态之间的差距。此外,这种整合使我们能够立即利用计算机视觉和自然语言处理领域的最新进展,最大限度地发挥两个学科的优势。 他们提供了以下贡献: • 他们提出了LENS,一种通过使用语言模型的少样本、上下文学习能力来处理计算机视觉挑战的模块化方法。 • LENS使任何现成的LLM都能够在不经过进一步的训练或数据的情况下进行视觉处理。 • 他们使用冻结的LLM来处理对象识别和视觉推理任务,无需额外的视觉和语言对齐或多模态数据。实验结果表明,他们的方法在零样本性能上与Kosmos和Flamingo等端到端联合预训练模型相媲美或更优。他们的论文的部分实现已经在GitHub上可用。

Leave a Comment

Can't find what you're looking for? Try refining your search: