Press "Enter" to skip to content

274 search results for "this"

为何GPU在人工智能领域表现出色

GPU被称为人工智能的稀土金属,甚至是黄金,因为它们是当今生成式人工智能时代的基石。 三个技术原因以及许多故事解释了为什么会这样。每个原因都有多个值得探索的方面,但总体上有: GPU采用并行处理。 GPU系统可扩展到超级计算高度。 用于人工智能的GPU软件堆栈既广泛又深入。 总的结果是,GPU比CPU以更高的能效计算技术,并且更快地执行计算。这意味着它们在人工智能训练和推理方面提供领先的性能,并且在使用加速计算的各种应用中都能获得收益。 在斯坦福大学的人工智能人本中心发布的最新报告中提供了一些背景信息。报告中指出,GPU性能“自2003年以来增加了约7000倍”,每单位性能的价格“增加了5600倍”。 2023年的报告展示了GPU性能和价格/性能的急剧上升。 报告还引用了独立研究团体Epoch的分析和预测人工智能进展的数据。 Epoch在其网站上表示:“GPU是加速机器学习工作负载的主要计算平台,在过去五年中,几乎所有最大的模型都是在GPU上训练的… 从而对AI的最新进展做出了重要贡献。” 一份为美国政府评估人工智能技术的2020年研究得出了类似的结论。 “当计算生产和运营成本计算在内时,我们预计[前沿]人工智能芯片的成本效益比领先节点的CPU高出一个到三个量级,”研究报告中说。 在Hot Chips,一年一度的半导体和系统工程师聚会上,NVIDIA公司的首席科学家比尔·达利在一个主题演讲中表示,NVIDIA GPU在过去十年中在AI推理方面的性能提升了1000倍。 ChatGPT传播新闻 ChatGPT为GPU在人工智能方面的优势提供了一个强有力的例子。这个大型语言模型(LLM)是在数千个NVIDIA GPU上训练和运行的,用于服务超过1亿人使用的生成式AI。 自2018年推出以来,作为人工智能的行业标准基准,MLPerf详细记录了NVIDIA GPU在人工智能训练和推理中的领先性能。 例如,NVIDIA Grace Hopper超级芯片在最新一轮推理测试中表现优异。自那次测试以来,推出的推理软件NVIDIA TensorRT-LLM性能提升了8倍以上,能源使用和总拥有成本降低了5倍以上。事实上,自2019年基准测试发布以来,NVIDIA…

Leave a Comment

康奈尔大学研究人员揭示了语言模型提示的内在洞察力:深入了解下一个标记概率如何揭示隐藏文本的方法

Translate this html (keep the html code in the result) to Chinese: 康奈尔大学的研究人员进行了一项研究,解决了语言模型逆推的问题。他们发现下一个标记的概率包含了有关前文的重要信息。为了解决这个问题,他们引入了一种方法,仅使用模型当前的分布输出来重构未知的提示,他们发现这种方法非常准确。 语言模型逆推的方法是在计算机视觉中反转深度嵌入的先前研究基础上的一种新技术。它旨在通过从语言模型输出中恢复隐藏的提示来解决文本嵌入的隐私问题。这种方法是独特的,并与自然语言处理模型中的模型逆推、成员推理和模型窃取之前的研究相关。该研究强调提示恢复作为应对隐私问题的一种方法。 该研究解决了语言模型逆推的问题,旨在从模型的下一个标记概率中恢复输入提示,这在用户无法访问原始提示的情况下至关重要。他们强调了语言模型预测的可逆性,并展示了相似或准确提示的恢复。该研究探索了包括仅文本访问在内的各种访问模式,证明了有限信息下的提示恢复的可行性。 该研究引入了一种从语言模型的分布输出中恢复未知提示的方法。它使用了基于Transformer模型训练的条件语言模型,将下一个标记的概率映射到标记。使用编码器-解码器Transformer中的交叉注意力,将向量展开为伪嵌入。在Llama-2 7b数据集上的实验展示了反转提示的定性示例。他们建立了基线,包括越狱字符串,以进行性能比较。 研究提出的逆推方法在Instructions-2M测试集中恢复提示方面表现出色,超过了few-shot提示和GPT-4。它在各种模型访问场景下取得了成功,实现了显著的BLEU分数和标记级别F1的Llama-2 7b数据集。还探讨了对不同大小的模型的可转移性,展示了在代码生成任务中的良好性能。定性分析显示,重构的提示与主题相关且句法相似,表明逆推方法在准确恢复语言模型输出的提示方面非常有效。 总之,该研究显示语言模型逆推是一种可靠的方法,可以从模型的输出分布中恢复提示。为了防止逆推攻击,重要的是实施防御机制,如添加噪音和设置限制访问。实验证明模型概率分布可以通过启用采样进行重构。但建议限制对top-logits的访问,并为提示保护将温度设为0。结果证实,语言模型逆推是一种有效的方法,可以准确地从语言模型中恢复隐藏的提示。 语言模型逆推的未来工作可以深入研究输入单个后缀以生成多个下一个标记预测,而不仅仅是在末尾。研究可以关注不同大小和领域的模型之间逆推的可转移性。研究对各种防御机制的影响,包括添加噪音和限制访问top-logits,提供了一个有价值的探索方向。将标记嵌入与概率值相结合的参数化可以提高逆推模型的性能。将该方法应用于代码生成等多样任务的探索将提供对其更广泛用途的洞察。进一步分析还需要了解提示恢复的限制和挑战,特别是在处理专有名词和改进句法相似性方面。

Leave a Comment

15个引导性项目,提升你的数据科学技能

简介 在数据科学领域,创新与机遇相遇之处,对熟练专业人员的需求不断飙升。数据科学不仅仅是一种职业,它是解决复杂问题、推动创新和塑造未来的门户。行业每年的增长率超过36%,在数据科学领域的职业不仅有经济回报,也有知识满足感。理论知识和实践经验的结合对于在这个充满活力的环境中取得成功至关重要。在数据科学中的指导项目成为理论和实践之间的桥梁,提供在导师的引导下亲身学习的机会。 指导项目是什么? 在了解指导项目之前,了解一下数据科学职业的吸引力是很重要的。除了复杂的算法和庞大的数据集外,数据科学是解决现实世界挑战、推动行业发展的关键。最近的行业报告显示,数据科学家的中位薪资超过了平均薪资,使其成为一种吸引人的职业选择。行业的快速增长进一步扩大了具备正确技能和专业知识的人的机会。 独立数据科学项目中的挑战 挑战涵盖了管理庞大的数据集、实施复杂的算法和提取有意义的见解。现实世界的数据科学场景要求对技术细节和领域特定细微之处有着细腻的理解。在这里,指导项目的重要性就在于它们提供了一种结构化的方法和专家导师的指导,将困难的旅程转化为有启发性的学习体验。 我们可以帮助您完成的前15个指导项目 以下是我们在我们的BB+计划中涵盖的项目。我们的专家将通过他们卓越的指导帮助您深入了解它们的复杂性。 1. 纽约出租车需求预测 纽约出租车需求预测项目将参与者沉浸在动态的运输分析世界中。借助历史出租车行程数据,参与者深入预测模型来预测纽约市各个位置的出租车需求。该项目磨炼回归分析和时间序列预测技能,并提供关于空间数据可视化的见解。了解和预测出租车需求对于优化车队管理、提高客户服务以及贡献于高效的城市交通系统至关重要。 2. 场景分类挑战 在场景分类挑战中,参与者的任务是开发一个强大的图像分类模型,能够准确地将图像分类到预定义的类别中。利用卷积神经网络(CNNs)和迁移学习等深度学习技术,参与者获得了图像识别方面的实践经验。该项目的目标是构建准确的模型,并在图像分类的背景下理解特征提取、模型训练和验证的细微之处。 3. Pascal VOC图像分割 Pascal VOC图像分割项目向参与者介绍了引人入胜的图像分割世界。利用Pascal VOC数据集,参与者学习如何准确地轮廓绘制图像中的对象。该项目深入探讨语义分割的复杂性,其目标是将图像中的每个像素分配给特定的对象类别。精通图像分割对于计算机视觉、医学图像和自动驾驶等应用至关重要。 4. 场景生成 场景生成将参与者带入生成模型,特别是生成对抗网络(GANs)。其目标是通过生成类似于真实场景的图像来创建逼真的场景。参与者将探索GANs、对抗性训练和潜在空间操作的原理。该项目提高了生成模型的技能,并为创造由AI生成的内容提供了创造性的途径。 5. 大型超市销售预测…

Leave a Comment

Pika 1.0:一种新的视频创作AI模型

在一个被生成AI所迷住的世界中,专门从事以AI为动力的视频创作的初创公司Pika,在由风投公司Lightspeed Venture Partners主导的最新一轮融资中获得了5500万美元的惊人资金。这笔资金的涌入与Pika 1.0的推出相一致,Pika 1.0是一套赋能于视频拍摄的创新工具,旨在改变视频创作的格局。Pika的旅程仅仅开始了六个月,已经吸引了50万用户,每周生成数百万个视频。 Pika 1.0发布 Pika的雄心目标是简化视频制作,从而开发出了Pika 1.0,配备有生成AI模型,能够编辑各种风格的视频,例如“3D动画”、“动漫”和“电影”。这个创新平台从隐秘模式中出现,引入了一种工具,可以扩展视频长度、转换风格,甚至使用AI编辑内容,比如改变衣着或添加人物。现在的问题是,Pika 1.0是否真的能够彻底改变通常复杂且资源密集的视频创作过程? Pika的竞争优势 在充斥着像Runway和Stability AI这样的竞争对手的领域,Pika通过承诺提升视频编辑体验的功能使其与众不同。值得注意的是,Pika 1.0提供了扩展视频画布或宽高比的能力,为用户提供了前所未有的创作自由。随着这个平台为广泛的可用性做好准备,Google和Meta等行业巨头也在暗示他们将进入生成AI视频工具领域。 Lightspeed对Pika的信心 尽管竞争激烈,但风投公司Lightspeed Venture Partners在Pika和Stability AI两家公司的投资者中表达了对Pika的转型潜力的信心。代表Lightspeed的Michael Mignano认为,Pika的技术基础和对创造力的早期热情使其在民主化高质量视频创作方面成为领导者。这一认可表明,Pika可能确实在重塑人们如何将自己的故事进行视觉分享方面发挥关键作用。 生成AI的兴起潮流 Pika的快速增长反映了对于各类应用中生成AI的需求飙升。根据IDC的数据,生成AI的投资从今年的160亿美元预计将在2027年飙升至1,430亿美元。尽管在2023年,生成AI仅占整体AI支出的9%,但该公司预计在未来五年内将显著增至28%。这一趋势不仅限于专业人士,最近的一项调查显示,Z世代越来越喜欢使用生成AI工具。 还可阅读:Google的BARD现在可以“观看并回答关于YouTube视频的问题” 挑战与未来展望 随着生成AI的发展,未来面临着一些挑战。2023年O’Reilly的报告指出,26%的企业AI采用者正在初步试点生成AI,并面临着从意外结果和安全问题到公平、偏见和隐私问题的种种担忧。该行业还受制于难以确定商业用例和有关AI生成内容的法律复杂性。…

Leave a Comment

使用新的Amazon SageMaker容器提升LLMs的推理性能

今天,Amazon SageMaker推出了Large Model Inference (LMI) Deep Learning Containers (DLCs)的新版本(0.25.0),并新增了对NVIDIA的TensorRT-LLM Library的支持借助这些升级,您可以轻松访问最先进的工具,优化SageMaker上的大型语言模型(LLMs),并获得价格性能优势——Amazon SageMaker LMI TensorRT-LLM DLC将延迟降低了33% […]

Leave a Comment

斯坦福大学研究员推出FlashFFTConv:一种新的人工智能系统,用于优化长序列的FFT卷积

Translate this html (keep the html code in the result) to Chinese: 高效地在延长序列中进行推理是机器学习中的主要难题。最近,卷积已经成为序列建模的关键原始,支持语言建模、时间序列分析、计算机视觉、DNA建模等领域的最新性能。尽管有这些令人印象深刻的质量发现和其他优势,如随着序列长度增加的改进稳定性和更好的可扩展性,卷积序列模型仍然比Transformer模型慢得多。 一个主要原因是硬件支持不稳定。与视觉应用中使用的短滤波器相比,序列建模中的卷积经常使用与输入序列长度一样长的滤波器。快速傅里叶变换(FFT)卷积算法通过映射输入和输出频率来计算输入u和卷积核k之间的卷积。 尽管渐近有效,但FFT卷积算法在现代加速器上的计时效果较低。然而,系统技术的进步使得Transformer模型能够达到当前加速器的极限,在使用FlashAttention-v2时,端到端FLOP使用率超过72%。 为了提供更长的上下文能力,斯坦福大学的一项新研究调查了如何在现代加速器上优化FFT卷积方法。研究人员认为,随着FlashAttention等系统的进步,导致了更好的模型和新的注意力算法,优化FFT卷积将会产生新的更好的算法,提升卷积序列模型的质量。 FFT卷积可以很容易地优化短序列。常见的做法是在多个批次中重复使用卷积核滤波器,这使得可以在重复使用之前预先计算滤波器的FFT。因此,FFT卷积在批次和滤波器之间是并行的,并且内核融合允许将中间卷积输出缓存在静态随机存取存储器(SRAM)或寄存器中。 然而,团队指出,随着序列长度的增加,出现了两个主要瓶颈。就当前加速器而言,FFT卷积不会充分利用专用矩阵-矩阵乘法单元。 其次,随着序列变得过长而无法适应SRAM,内核融合失败,需要进行昂贵的输入/输出操作。用于因果关系的填充操作以及从实值输入/输出转换为复值FFT中间结果可能进一步增加这些I/O成本。 为此,研究人员提出了一种名为FlashFFTConv的新算法,该算法采用了FFT的Monarch分解,以优化针对长序列的FFT卷积。通过p阶Monarch分解,FFT可以通过一系列p个矩阵-矩阵乘法操作有效地传输到硬件中。较大的p值由于较小的矩阵而导致更少的FLOP成本,但需要更多的I/O来传递中间结果。因此,涉及到权衡。 该研究演示了如何基于序列长度使用简单的成本模型来优化FLOP成本和I/O成本,在GPU上优化p。除了在更长的序列长度上促进内核融合之外,该分解还减少了必须在SRAM中维护的序列的数量。因此,FlashFFTConv可以轻松处理从256个字符到400万个字符的序列。通过使用实值FFT算法并在输入进行零填充时跳过部分矩阵-乘法操作,FlashFFTConv可以将FFT操作的长度减少多达一半。最后但并非最不重要的是,FFT卷积的矩阵视图为实施两个架构修改提供了简单的界面:偏差卷积和频率稀疏卷积。这两种方法可以简单地通过省略矩阵分解的部分来实现,从而降低内存占用和计时运行时间,并可以看作是Transformer中稀疏/近似注意力的卷积并行。 研究人员证明了FlashFFTConv加速了FFT卷积,从而实现了更好的质量、更高效和更长的序列模型。 通过更好的效率,FlashFFTConv提高了卷积序列模型的质量:在相同的计算预算下,FlashFFTConv使Hyena-GPT-s的困惑度提高了2.3个点,并使M2-BERT-base的平均GLUE分数提高了3.3个,性能提升相当于模型参数加倍。 与PyTorch相比,FlashFFTConv在卷积效率方面提高了高达7.93倍,并在内存节省方面提高了高达5.60倍,而且这种高效性在序列长度上可以达到四个数量级。对于长度为2K及以上的序列,FlashFFTConv在计时效果上快于FlashAttention-v2端到端,原因是FLOP成本更低,并且实现了高达62.3%的端到端FLOP使用率,仅比FlashAttention-v2少10%。 FlashFFTConv使更长序列的模型成为可能。FlashFFTConv生成的模型是唯一能够完成长阶竞技场基准的Path-512作业(序列长度为256K)的模型,用于高分辨率图片分类。FlashFFTConv是第一个以单核苷酸分辨率嵌入最长人类基因(长达230万个碱基对)的模型;通过部分卷积,它将HyenaDNA扩展到4M的序列长度。…

Leave a Comment

Palo Alto Networks推出Cortex XSIAM 2.0平台:具备独特的自主机器学习(BYOML)框架

Translate this html (keep the html code in the result) to Chinese: 在网络安全领域,组织面临着高效管理安全情报和自动化的挑战。其中一个普遍存在的问题是需要有效的机器学习模型来增强安全措施。传统上,安全团队仅限于预定义的模型,这使得适应不断发展的威胁变得困难。 某些解决方案已经存在来解决这个挑战,但它们通常需要安全团队更多的灵活性。这些解决方案不允许安全专业人员根据特定需求创建和实施他们的机器学习模型。这种限制限制了在欺诈检测、安全研究和数据可视化等领域发挥机器学习潜力的能力。 Palo Alto Networks 推出了 Cortex XSIAM 2.0 平台,其中包含一个独特的 BYOML(Bring-Your-Own-Machine-Learning)框架。该框架通过提供对存储在 XSIAM 上的大量安全数据的访问,赋予安全团队建立和利用自己的机器学习模型的能力,从而实现更高的定制和适应性。…

Leave a Comment

使用基础模型来提高使用亚马逊SageMaker的模型准确性

确定房屋价值是使用机器学习(ML)的一个经典案例在本文中,我们讨论了一种专为视觉问答(VQA)任务设计的开源模型的使用通过VQA,您可以使用自然语言向一张照片提问,并以简明的语言得到一个回答本文的目标是激发和展示使用这项技术所能实现的可能性

Leave a Comment

Microsoft的Azure AI模型目录以突破性的人工智能模型扩展

“`html Microsoft已经发布了Azure AI模型目录的重大扩展,其中包括一系列基础和生成型AI模型。这一举措标志着人工智能领域的重大进步,将不同的创新技术汇集在一起。 AI目录的多样增加 Azure AI模型目录现在包括40个新模型,引入了4种新模式,包括文本到图像和图像嵌入功能。主要增加的模型有: 稳定扩散模型:由Stability AI和CompVis开发,这些模型在文本到图像和图像修复任务中表现出色,为创意内容生成提供了稳健且一致的输出。 TII的Falcon模型:Falcon模型具有70亿和400亿参数,针对推断进行了优化,在性能上超过了许多开源模型。 Meta的Code Llama:一系列用于辅助编码任务的生成型文本模型,参数从70亿到340亿不等。 NVIDIA Nemotron:这款来自NVIDIA的80亿参数模型提供了各种功能,包括聊天和问答,与NVIDIA NeMo框架兼容。 Meta的SAM(Segment Anything Model):一种能够从简单的输入提示中创建高质量对象掩码的图像分割工具。 模型即服务(MaaS) 在战略上,微软还引入了模型即服务(MaaS)的概念。该服务将使专业开发人员能够将来自Meta的Llama 2、Cohere的Command、G42的Jais以及Mistral的高级模型作为API端点集成到其应用程序中。这种集成过程简化了开发人员资源供应和托管管理的复杂性。 创新型模型亮点 Jais:G42开发的具有130亿参数的模型,经过了包含1160亿阿拉伯语标记的数据集的训练。Jais是阿拉伯世界在人工智能方面的重要进步。 Mistral:拥有73亿参数的大型语言模型,由于具有分组查询注意力和滑动窗口注意力特征,因此其推断速度更快且响应序列更长。 Phi模型:包括Phi-1-5和Phi-2,这些变压器展示了改进的推理能力和安全措施,适用于从写作到逻辑推理的各个领域的应用。 面向未来的创新…

Leave a Comment

使用预选算法在Amazon SageMaker自动模型调整中实现定制的AutoML作业

AutoML可以让您在机器学习(ML)项目的生命周期初期就能从数据中快速得出一般性见解提前了解哪些预处理技术和算法类型能够提供最佳结果,能够减少开发、训练和部署正确模型所需的时间它在每个模型的开发过程中起着至关重要的作用[…]

Leave a Comment

Can't find what you're looking for? Try refining your search: