Press "Enter" to skip to content

32 search results for "云服务提供商"

NVIDIA Grace Hopper超级芯片为全球研究中心、系统制造商和云服务提供商提供超过40个人工智能超级计算机的动力

数十台用于科学计算的新超级计算机即将上线,由NVIDIA的突破性GH200 Grace Hopper Superchip提供支持,可用于巨型AI和高性能计算。 NVIDIA GH200使科学家和研究人员能够通过加速运行数千亿字节数据的复杂AI和HPC应用程序来解决世界上最具挑战性的问题。 在超级计算展览SC23上,NVIDIA今天宣布该超级芯片即将应用于更多全球系统,包括来自戴尔科技、Eviden、惠普企业(HPE)、联想、QCT和Supermicro。 NVIDIA Grace CPU和Hopper GPU结合起来,使用NVIDIA NVLink-C2C互连技术,GH200还是全球科学超级计算中心的引擎。 总体而言,这些由GH200提供支持的中心将提供约200亿亿次的AI性能,推动科学创新。 HPE Cray超级计算机集成了NVIDIA Grace Hopper 在丹佛的展会上,HPE宣布将提供配备NVIDIA Grace Hopper Superchip的HPE Cray EX2500超级计算机。集成解决方案将采用四个GH200处理器,扩展至数以万计的Grace Hopper Superchip节点,为组织提供无与伦比的超级计算灵活性和更快的AI训练。这个配置也将成为HPE今天推出的生成式AI超级计算解决方案的一部分。…

Leave a Comment

2024年的17个预测:从贫穷到财富,从披头士狂热到国家宝藏

向一边去,韦伯斯特:今年企业发现了许多候选词来评选年度词汇。紧随其后的是诸如“生成式人工智能”和“生成式预训练变压器”之类的术语,整个行业都将注意力转向变革性的新技术,如“大型语言模型”和“检索增强生成”(RAG)。 一开始,“生成式人工智能”只是一个较小的关注点,但最后却以耀眼姿态收场。许多公司正在迅速利用其能够处理文本、语音和视频的能力,产生革新性的内容,从而彻底改变生产力、创新力和创造力。 企业正在顺应这一趋势。根据麦肯锡公司的数据,像OpenAI的ChatGPT这样的深度学习算法,再加上企业数据的进一步训练,每年可以为63个商业用例带来相当于2.6万亿至4.4万亿美元的价值。 然而,管理大量的内部数据往往被认为是扩展人工智能的最大障碍。一些AI领域的NVIDIA专家预测,2024年将成为联络朋友的一年——与云服务提供商、数据存储和分析公司以及其他掌握处理、优化和高效部署大数据的技能的公司建立伙伴关系和合作。 大语言模型是这一切的核心。NVIDIA专家表示,LLM研究的进展将越来越多地应用于商业和企业应用领域。通过几乎任何平台,诸如RAG、自主智能代理和多模态互动等AI功能将变得更加易于获取和部署。 听取NVIDIA专家对未来一年的预测: MANUVIR DAS企业计算副总裁 一刀切不适用于所有情况:定制化即将进入企业。企业将不会只有一两个生成式人工智能应用,它们会有数百个定制应用,使用适合于业务不同部分的专有数据。 一旦投入生产,这些定制化的LLM将具备RAG功能,将数据源与生成式人工智能模型连接起来,以获得更准确、更明智的响应。像Amdocs、Dropbox、Genentech、SAP、ServiceNow和Snowflake这样的领先公司已经在构建使用RAG和LLM的全新生成式人工智能服务。 开源软件引领潮流:得益于开源预训练模型,解决特定领域挑战的生成式人工智能应用将成为企业运营策略的一部分。 一旦公司将这些先导模型与私有或实时数据结合起来,他们就可以开始在整个组织中看到加速的生产力和成本效益。从基于云计算和人工智能模型铸造服务到数据中心、边缘和桌面,AI计算和软件将在几乎任何平台上变得更加易于获取。 现成的人工智能和微服务:生成式人工智能促使应用程序编程接口(API)端点的采用增加,这使得开发人员能够构建复杂的应用程序更加容易。 到2024年,软件开发工具包和API将升级,开发人员将使用生成式人工智能微服务(例如RAG作为服务)来定制现成的AI模型。这将帮助企业充分发挥以智能助手和摘要工具为代表的以AI驱动的生产力的潜力,这些工具可以获取最新的业务信息。 开发人员将能够直接将这些API端点嵌入到他们的应用程序中,而无需担心维护支持这些模型和框架所需的基础设施。最终用户将能够体验到更直观、更具响应性和更符合需求的应用程序。 IAN BUCK超大规模和高性能计算副总裁 国家财富:人工智能将成为新的太空竞赛,每个国家都希望建立自己的卓越中心,推动研究和科学的重大进展,提高国内生产总值。 只需要几百个加速计算节点,各国就能迅速构建高效、高性能、百亿亿次量级的AI超级计算机。政府资助的生成式AI卓越中心将通过创造新的工作岗位和建设更强大的大学项目推动国家经济增长,培养下一代科学家、研究人员和工程师。 量子飞跃:企业领导者将以两个关键驱动因素启动量子计算研究项目:利用传统AI超级计算机模拟量子处理器的能力以及混合经典量子计算的开放统一开发平台的可用性。这使得开发人员可以使用标准编程语言而不需要定制的、专门的知识来构建量子算法。 曾经在计算机科学中被认为是一个隐晦的领域,随着企业加入学术界和国家实验室追求材料科学、制药研究、亚原子物理和物流的快速进展,量子计算探索将变得更加主流。 KARI BRISKI副总裁,AI软件 从试错到致富:随着企业采用这些AI框架,对试错增强生成技术(RAG)将会有更多的讨论。 当企业培训LLM来构建生成式AI应用程序和服务时,当模型在某种用例下没有足够准确、相关的信息时,RAG被广泛视为解决不准确或荒谬回答的方法。…

Leave a Comment

为何GPU在人工智能领域表现出色

GPU被称为人工智能的稀土金属,甚至是黄金,因为它们是当今生成式人工智能时代的基石。 三个技术原因以及许多故事解释了为什么会这样。每个原因都有多个值得探索的方面,但总体上有: GPU采用并行处理。 GPU系统可扩展到超级计算高度。 用于人工智能的GPU软件堆栈既广泛又深入。 总的结果是,GPU比CPU以更高的能效计算技术,并且更快地执行计算。这意味着它们在人工智能训练和推理方面提供领先的性能,并且在使用加速计算的各种应用中都能获得收益。 在斯坦福大学的人工智能人本中心发布的最新报告中提供了一些背景信息。报告中指出,GPU性能“自2003年以来增加了约7000倍”,每单位性能的价格“增加了5600倍”。 2023年的报告展示了GPU性能和价格/性能的急剧上升。 报告还引用了独立研究团体Epoch的分析和预测人工智能进展的数据。 Epoch在其网站上表示:“GPU是加速机器学习工作负载的主要计算平台,在过去五年中,几乎所有最大的模型都是在GPU上训练的… 从而对AI的最新进展做出了重要贡献。” 一份为美国政府评估人工智能技术的2020年研究得出了类似的结论。 “当计算生产和运营成本计算在内时,我们预计[前沿]人工智能芯片的成本效益比领先节点的CPU高出一个到三个量级,”研究报告中说。 在Hot Chips,一年一度的半导体和系统工程师聚会上,NVIDIA公司的首席科学家比尔·达利在一个主题演讲中表示,NVIDIA GPU在过去十年中在AI推理方面的性能提升了1000倍。 ChatGPT传播新闻 ChatGPT为GPU在人工智能方面的优势提供了一个强有力的例子。这个大型语言模型(LLM)是在数千个NVIDIA GPU上训练和运行的,用于服务超过1亿人使用的生成式AI。 自2018年推出以来,作为人工智能的行业标准基准,MLPerf详细记录了NVIDIA GPU在人工智能训练和推理中的领先性能。 例如,NVIDIA Grace Hopper超级芯片在最新一轮推理测试中表现优异。自那次测试以来,推出的推理软件NVIDIA TensorRT-LLM性能提升了8倍以上,能源使用和总拥有成本降低了5倍以上。事实上,自2019年基准测试发布以来,NVIDIA…

Leave a Comment

探索对OpenAI模型的开源替代品

介绍 11月在人工智能领域发生了许多重大事件。从GPT存储的推出,到GPT-4-turbo的发布,再到OpenAI的惨败,这一切都引发了一个重要的问题:封闭模型和背后的人员有多可靠?当你在生产中使用的模型因为一些内部公司事件而崩溃时,这将会是一次不愉快的经历。这对于开源模型来说并不是一个问题。您对部署的模型拥有完全控制权。您对数据和模型都有主权。但是是否可以用GPT代替开源模型?值得庆幸的是,许多开源模型已经达到或超过了GPT-3.5模型的性能。本文将探讨一些性能最佳的开源LLMs和LMMs替代方案。 学习目标 讨论开源大型语言模型。 探索最先进的开源语言模型和多模态模型。 对大型语言模型进行轻量化介绍。 了解在本地和云端运行LLMs的工具和服务。 本文作为数据科学博文马拉松的一部分发表。 什么是开源模型? 当模型的权重和架构是自由可用的时,我们称之为开源模型。这些权重是大型语言模型的预训练参数,例如Meta的Llama。这些通常是基础模型或未经调优的原始模型。任何人都可以使用这些模型,并将其在自定义数据上进行微调,以执行下游操作。 但是它们是否是真正的开源?数据呢?由于有关版权内容和数据敏感性的种种问题,大多数研究实验室都不会公开发布训练基础模型时所使用的数据。这也涉及到模型的许可问题。每个开源模型都有类似于任何其他开源软件的许可证。许多基础模型(例如Llama-1)配有非商业许可证,这意味着您不能使用这些模型来赚钱。但是像Mistral7B和Zephyr7B这样的模型配有Apache-2.0和MIT许可证,可以在任何地方使用而不会有顾虑。 开源替代方案 自从Llama发布以来,开源领域一直在追赶OpenAI模型。迄今为止,取得了令人鼓舞的成果。在GPT-3.5发布一年内,我们已经拥有了参数更少但在性能上与GPT-3.5相媲美甚至更好的模型。但是GPT-4仍然是执行从推理和数学到代码生成等各种一般任务的最佳模型。进一步观察开源模型领域的创新和资金支持的步伐,我们很快将会有越来越接近GPT-4性能的模型。现在,让我们讨论一些出色的开源模型的替代方案。 Meta’s Llama 2 Meta在今年7月发布了他们最好的模型Llama-2,并因其令人印象深刻的能力而迅速走红。Meta发布了四个不同参数规模的Llama-2模型,分别是Llama-7b、13b、34b和70b。这些模型在各自的类别中足以击败其他开源模型。但是现在,诸如mistral-7b和Zephyr-7b等多个模型在许多基准测试中优于较小的Llama模型。Llama-2 70b仍然是其类别中最好的之一,可以作为GPT-4在摘要、机器翻译等任务上的替代品。 Llama-2在许多基准测试中表现优于GPT-3.5,并且能够接近GPT-4,使其成为GPT-3.5甚至在某些情况下是GPT-4的一个有价值的替代品。以下图表是由Anyscale提供的Llama和GPT模型的性能比较。 有关Llama-2的更多信息,请参阅HuggingFace上的博客。这些LLM经过微调后在自定义数据集上表现良好。我们可以对模型进行微调,以在特定任务中发挥更好的性能。 不同的研究实验室也发布了经过微调的Llama-2版本。这些模型在许多基准测试中显示出比原始模型更好的结果。这款经过微调的Llama-2模型,Nous-Hermes-Llama2-70b,由Nous Research经过超过300,000个自定义指令进行了微调,使其比原始的meta-llama/Llama-2-70b-chat-hf更好。 查看HuggingFace的排行榜。您可以找到比原始模型效果更好的经过微调的Llama-2模型。这是开源模型的优点之一。根据需求,可以选择多种模型。 Mistral-7B Mistral-7B发布以来,它已成为开源社区的宠儿。它的性能要远远优于同类模型,并接近GPT-3.5的能力。这个模型可以在许多情况下替代Gpt-3.5,比如摘要、改写、分类等。…

Leave a Comment

NVIDIA与盖尼特合作,利用生成式人工智能加速药物研发

Roche集团的成员Genentech正在开创性地使用生成型人工智能来发现和开发新的治疗方法,并以更高效的方式向患者提供治疗。 Genentech,这家生物技术先驱与NVIDIA之间的新合作旨在通过将两家公司的专家汇聚在一起,优化和加速Genentech专有的算法,从而改变发现和开发新药物的方式。 NVIDIA将与Genentech合作,加速在NVIDIA DGX Cloud上进行这些模型,该平台提供由NVIDIA云服务提供商合作伙伴托管的专用AI超级计算机实例和软件。 Genentech计划使用NVIDIA BioNeMo,该平台能够使生物技术公司以规模化方式定制模型,并将BioNeMo云应用程序接口直接整合到计算药物发现工作流程中。 BioNeMo现已作为训练服务提供,它是一个领域特定的平台,简化、加速和扩展了计算药物发现的生成型人工智能应用程序。它使研究人员能够在DGX Cloud上对最先进的模型进行预训练或微调。 这次合作最初的重点将放在优化Genentech的药物发现AI模型上,以实现“实验室循环”框架。目标是使研究人员能够理解复杂的生物分子模式和关系,真正颠覆药物研发,提高研发的成功率,并赋予科学家为患者和更广泛的医疗生态系统带来乘法效益,而不是线性或加法效益。 Genentech研究与早期发展执行副总裁Aviv Regev表示:“我们与NVIDIA的合作建立在长期以来在技术方面取得成功并在最初并不显而易见的领域部署技术的基础上。我们是第一家利用分子生物学进行药物发现和开发的生物技术公司,改变了世界。我们开创了抗体治疗的范式。现在,我们将人工智能、实验室和临床结合在一起,以揭示海量数据中无法访问的模式,并设计实验来测试这些模式。与NVIDIA的合作,引入生成型AI,有能力快速推动发现和设计改进全球患者生活的治疗方法。” 通过计算简化药物发现 目前,药物发现和开发是一个耗时、复杂且昂贵的过程。预测新药物的药靶是困难的,同样成功将分子开发为潜在的治疗药物也是如此。人工智能可以发挥转变性的作用,因为生成型和其他人工智能模型可以通过在大规模数据集上进行训练,帮助科学家快速识别潜在的药物分子和相互作用。 对于Genentech来说,使用人工智能有助于弥合实验室实验和计算算法之间的差距。 该公司的研发团队gRED已经在多个领域使用人工智能进行了重要工作,以发现和开发新的治疗方法,并更多地了解生物学和疾病的基本构建块。 Genentech和NVIDIA的团队将共同努力,优化Genentech定制开发的模型,以缩短药物发现和开发这一耗时的过程,并取得更大的成功。 将人工智能纳入循环 Genentech的“实验室循环”是一个迭代框架,用于生成和探索具有预测特性的分子设计。它旨在使用实验数据来建立生成型计算模型,并更好地优化未来的分子设计。NVIDIA将帮助Genentech通过加速训练和推断Genentech的药物发现模型来优化其框架。 通过这种合作,NVIDIA的人工智能专家将获得有关药物发现和开发中与AI相关的挑战的见解。NVIDIA计划利用这些见解来改进其BioNeMo平台和其他平台,以进一步适应生物技术行业使用的模型的要求。 NVIDIA的医疗保健副总裁Kimberly Powell表示:“人工智能在加速药物发现和开发方面可以发挥转变性的作用,就像在医疗保健和生命科学的其他许多领域一样。 NVIDIA与Genentech共同开发和实施的人工智能模型和算法使我们能够快速迭代和发现洞见,从而推动科学创新。” 订阅NVIDIA医疗资讯。

Leave a Comment

亚马逊宣布Amazon Bedrock已正式上市

“遇见亚马逊基石,这是一项在生成AI领域引起变革的重大发展,亚马逊承诺将重塑人工智能领域的格局在四月份宣布的消息中,亚马逊基石是一个全面托管的服务,它引入了最先进的AI模型,无缝集成到您的组织运营中在这一宣布中,数据和…酒店副总裁Swami Sivasubramanian 表示:

Leave a Comment

亚马逊以40亿美元投资Anthropic进一步推进人工智能

亚马逊宣布向人工智能初创公司Anthropic投资40亿美元,以在人工智能竞争中占据更大份额这是最近几个月来科技巨头投资人工智能领域的最新一项高层投资,越来越多的已建立的公司都将目光投向人工智能,希望从中获得新的经济机会根据…

Leave a Comment

在多云环境中使用亚马逊SageMaker训练和部署机器学习模型

在本文中,我们展示了在多云环境中利用AWS最广泛、最深入的人工智能/机器学习能力的众多选项之一我们展示了如何在AWS中构建和训练一个机器学习模型,并在另一个平台上部署该模型我们使用Amazon SageMaker训练模型,将模型工件存储在Amazon Simple Storage Service(Amazon S3)中,并在Azure中部署和运行该模型

Leave a Comment

使用SynthID识别人工智能生成的图像

今天,我们与谷歌云合作,正式推出SynthID,一款用于给AI生成的图像添加水印和识别的新工具它将首先在限定数量的Vertex AI客户中使用Imagen进行测试,Imagen是我们最新的文本到图像模型之一,它可以根据输入的文本生成逼真的图像这项技术将数字水印直接嵌入图像的像素中,对人眼来说几乎不可察觉,但可以用于识别虽然生成式人工智能可以释放巨大的创造潜力,但也带来了新的风险,比如创作者故意或无意地传播虚假信息能够识别AI生成的内容对于赋予人们知识,让他们了解何时与生成媒体进行交互,以及防止虚假信息的传播至关重要

Leave a Comment

Persistent Systems通过Amazon CodeWhisperer塑造软件工程的未来

全球数字工程提供商Persistent Systems已经与Amazon CodeWhisperer进行了多次试点和正式研究,这些试点和研究指出软件工程、生成式人工智能驱动的现代化、负责任的创新等方面发生了变化本文重点介绍了Persistent与Amazon CodeWhisperer实验中出现的四个主题,这些主题可能会改变我们所知的软件工程

Leave a Comment

NVIDIA为企业和开发人员提供更可扩展、可定制的扩展现实流媒体

各行各业的组织正在使用扩展现实(XR)重新设计工作流程并提高生产力,无论是用于沉浸式培训还是协作设计审查。 随着一体化(AIO)头戴式显示器的普及使用,越来越多的团队已经采用和整合了XR技术。虽然AIO头戴式显示器简化了XR的使用,但其计算和渲染能力有限,可能会限制流媒体体验的图形质量。 NVIDIA通过其CloudXR套件使更多企业和开发者能够采用高质量的XR技术。CloudXR旨在极大简化流媒体,使任何使用AIO头戴式显示器或移动XR设备的人都可以在任何位置体验高保真度的沉浸式环境。 CloudXR套件结合了NVIDIA RTX GPU和NVIDIA RTX虚拟工作站(vWS)软件的强大功能,可将高保真度的XR应用程序流媒体传输到Android和iOS设备上。通过根据网络状况动态调整,CloudXR可实现最大限度的图像质量和帧率,为下一级别的无线增强现实和虚拟现实体验提供动力。 借助CloudXR,企业可以灵活有效地编排和扩展XR工作负载,开发者可以使用先进的平台为用户创建定制的XR产品。该套件在公共和私有网络上都提供高质量的流媒体。 爱立信和VMware是首批使用CloudXR的公司之一。 将XR工作流程提升到更高水平 CloudXR套件的性能与连接式虚拟现实体验相媲美。 它包括三个组件,包括几个更新: CloudXR基本组件,套件的底层流媒体层,带来了5G L4S优化、QoS算法和增强的日志记录工具等新改进。基本组件还包括SteamVR插件,以及示例客户端和新的服务器端应用程序编程接口。 CloudXR服务器扩展通过向Monado OpenXR运行时添加源代码,改进了服务器端接口。CloudXR基本组件中包含的新CloudXR服务器API和OpenXR API代表了扩展XR分发的入口。 CloudXR客户端扩展作为首个提供,包括为Unity编辑器构建的CloudXR插件。这使开发者可以使用已经熟悉的Unity开发工具构建自定义的CloudXR客户端应用程序。此外,Unity应用程序开发者可以更容易地使用插件在连接到CloudXR流媒体服务器之前构建具有品牌定制界面和大厅的应用程序。 团队可以利用NVIDIA RTX GPU的强大性能在移动设备上实现极致图形性能。企业可以扩展到数据中心和边缘网络,并使用NVIDIA RTX vWS软件流媒体到并发用户。 此外,用户可以通过高带宽、低延迟的5G信号从边缘流媒体流畅的XR内容,使用任何OpenVR或OpenXR应用程序。 合作伙伴体验企业级XR流媒体…

Leave a Comment

简化文件管理:使用Sublime Text在服务器或运行在服务器上的Docker容器中使用SFTP连接和修改文件的指南

现如今,许多学术机构、研究实验室和云服务提供商都提供了配备GPU的服务器,供人们使用来运行实验例如,我的大学提供了…

Leave a Comment

机器学习(ML)实验追踪和管理的顶级工具(2023)

在机器学习项目中,获得单个模型训练运行的良好结果是一回事,但保持机器学习试验的良好组织并从中得出可靠结论是另一回事。 实验跟踪为这些问题提供了解决方案。机器学习中的实验跟踪是保留每个实验的所有相关数据的实践。 实验跟踪由机器学习团队以多种方式实施,包括使用电子表格、GitHub或内部平台。然而,使用专门用于管理和跟踪机器学习实验的工具是最高效的选择。 以下是机器学习实验跟踪和管理的顶级工具 Weight & Biases Weight & Biases是一个用于模型管理、数据集版本控制和实验监控的机器学习框架。实验跟踪组件的主要目标是帮助数据科学家记录模型训练过程的每个步骤,可视化模型并比较试验。 Weight & Biases可以在本地和云端使用。Weights & Biases在集成方面支持多种不同的框架和库,包括Keras、PyTorch环境、TensorFlow、Fastai、Scikit-learn等。 Comet 数据科学家可以使用Comet ML平台跟踪、比较、解释和优化实验和模型,从训练到生产的整个模型生命周期。对于实验跟踪,数据科学家可以记录数据集、代码更改、实验历史和模型。 Comet提供给团队、个人、学术机构和企业使用,适用于希望进行实验、促进工作并快速可视化结果的所有人。它可以在本地安装或用作托管平台。 Sacred + Omniboard 机器学习研究人员可以使用开源程序Sacred配置、安排、记录和复制实验。尽管Sacred缺乏出色的用户界面,但您可以将其与一些仪表盘工具(如Omniboard,还可以使用其他集成,如Sacredboard或Neptune)进行链接。 尽管Sacred缺乏其他工具的可扩展性,并且没有为团队协作而设计(除非与其他工具结合使用),但它对于独立研究有很多可能性。 MLflow…

Leave a Comment

在现代CPU上扩展BERT类模型的推断 – 第2部分

介绍:使用英特尔软件优化 CPU 上的 AI 效率 正如我们在之前的博客文章中详细介绍的那样,英特尔 Xeon CPU 提供了一组专为 AI 工作负载设计的特性,例如 AVX512 或 VNNI(矢量神经网络指令),用于使用整数量化神经网络进行高效推断,以及额外的系统工具,以确保以最高效的方式完成工作。在本博客文章中,我们将重点介绍软件优化,并让您了解英特尔的新一代 Ice Lake Xeon CPU 的性能。我们的目标是为您提供软件方面的全部信息,以充分利用您的英特尔硬件。与之前的博客文章一样,我们将展示基准测试结果和图表,以及新的工具,使所有这些参数和特性易于使用。 今年四月,英特尔推出了最新一代英特尔 Xeon 处理器,代号 Ice Lake,针对更高效和高性能的 AI…

Leave a Comment

Can't find what you're looking for? Try refining your search: