简介 在人工智能（AI）、机器学习（ML）和深度学习（DL）的时代，对强大计算资源的需求已经达到了一个高潮。这场数字革命将我们推进到了未知的领域，在这里，数据驱动的洞察力是创新的关键。但要打开这些领域，我们需要与我们的壮志相匹配的工具。 这就是神奇的云GPU世界，我们数字时代的无名英雄。这些通用计算单元，通常简称为GPU，不仅仅是计算资源，它们更是无限动力的引擎。云GPU为用户提供了使用超级计算能力的非凡能力，而无需承担沉重的前期硬件投资负担。 本指南将带你踏上一段激动人心的旅程，探索主要云供应商，揭示它们的优势和隐藏的亮点，让你在AI/ML/DL的道路上变得更强大。 最佳GPU概览 供应商 GPU选项 定价 免费层 独特功能 最佳用途 亚马逊网络服务（AWS） T4，G4ad（Radeon Pro V520） 按需与竞价实例 是（有限制） 多样的GPU选择，广泛的生态系统 大型企业，对工作负载要求高的场景 微软Azure T4，A100，V620，M60，MI25 按使用量付费与预留实例 是（有限制） 高性能N系列GPU AI，机器学习，科学计算…
Leave a CommentTag: GPU
更新日期：2023年12月11日 – 在附录中修订的分析反映了AMD估计销售额翻倍所需的GPU数量生成型AI需要大量的图形处理单元（GPU），这些计算…
Leave a Comment在下面我将描述使用cgo在Go和本机C之间进行接口的过程，以及如何使用它来与苹果的Metal性能着色器框架的Objective-C绑定接口，还有如何…
Leave a Comment在云端开发更智能的机器人即将获得速度倍增器。 NVIDIA Isaac Sim和NVIDIA L40S GPUs即将登陆亚马逊云服务，使开发者能够在云端构建和部署加速机器人应用。Isaac Sim是一个可扩展的人工智能机器人模拟器，构建于NVIDIA Omniverse开发平台，用于构建和连接OpenUSD应用程序。 L40S GPU将强大的人工智能计算与图形和媒体加速相结合，旨在为下一代数据中心工作负载提供动力。基于Ada Lovelace架构，L40S可以实现超高速实时渲染，与上一代相比，Omniverse的性能提升高达3.8倍，提升了工程和机器人团队的能力。 加速度的世代跃迁使得在使用Isaac Sim进行一系列机器人模拟任务时，与A40 GPU相比，获得了2倍的性能提升。 L40S GPU还可以用于生成式人工智能工作负载，从几小时内对大型语言模型进行精调，到文本到图像和聊天应用的实时推理。 NVIDIA L40S在AWS Marketplace上的新Amazon Machine Images (AMIs)将使机器人工程师们能够轻松访问预配置的虚拟机，以执行Isaac Sim工作负载。 模拟中的机器人开发加速了应用部署的过程，为零售业、食品加工业、制造业、物流等行业注入了强大动力。 根据ABI…
Leave a Comment随着全球珊瑚礁的迅速衰退，夏威夷大学马诺阿分校的研究人员开创了一种基于人工智能的勘测工具，可以从天空监测珊瑚礁的健康状况。 利用由NVIDIA GPU提供动力的深度学习模型和高分辨率卫星图像，研究人员开发出一种新的方法，可以发现和追踪珊瑚礁光环——围绕珊瑚礁的一圈贫瘠沙地。 这项研究最近发表在《遥感环境》杂志上，可能为实时珊瑚礁监测和全球保护工作带来转机。 “珊瑚礁光环可能是生态系统健康的潜在指标，”夏威夷大学的博士后研究员阿梅利亚·迈尔说道，她也是这项研究的合著者。“这些光环模式可以从太空中看到，为科学家和保护人士提供了观察广阔而遥远地区的独特机会。借助人工智能，我们可以定期评估光环的存在和大小，以确定生态系统的健康状况。” 明晰海洋：揭示珊瑚礁健康 根据研究人员最近的发现，以前认为仅由鱼类觅食造成的珊瑚礁光环也可以指示一个健康的捕食者-被捕食者生态系统。一些食草鱼类在保护珊瑚礁周边的海藻或海草上觅食，而捕食者则在海底挖掘寄生无脊椎动物，使周围的沙地裸露。 这些动态表明该区域为维持多样化的海洋生物种群提供了丰富的食物资源。当光环的形状发生变化时，表明海洋食物链存在失衡，可能指示一个不健康的珊瑚礁环境。 身陷困境 虽然珊瑚礁在海洋中仅占不到1%，但它们为超过100万种水生物种提供了栖息地、食物和育种场所。这也具有巨大的商业价值——每年约有3750亿美元的商业捕捞、旅游和沿海风暴保护，以及为药物研发研究提供抗病毒化合物。 然而，过度捕捞、养分污染和海洋酸化威胁着珊瑚礁的健康。加剧的气候变化以及来自变暖海洋的热应激也会加剧珊瑚白化和传染病的发生。 全球超过一半的珊瑚礁已经消失或严重受损，科学家预测到2050年所有的珊瑚礁都将面临威胁，其中很多处于危险之中。 借助人工智能开创新的视野 发现珊瑚礁光环的变化对于全球保护工作至关重要。然而，追踪这些变化是一项耗时且需要大量人力的任务，限制了研究人员每年进行的勘测数量。偏远地区珊瑚礁的可及性也带来了挑战。 研究人员创建了一个人工智能工具，可以从全球卫星图像中识别和测量珊瑚礁光环，使保护人士有机会主动应对珊瑚礁退化问题。 他们使用Planet SkySat图像，开发了一个双模型框架，采用了两种类型的卷积神经网络（CNNs）。依靠图像分割的计算机视觉方法，他们训练了一个Mask R-CNN模型，逐像素检测珊瑚礁和光环的边缘。一个U-Net模型则被训练用于区分珊瑚礁和光环的区域，并进行分类和预测。 研究区域概述（A），包含光环的SkySat卫星图像示例（B）以及光环的放大子集（C）。 团队使用TensorFlow、Keras和PyTorch库对珊瑚礁模型进行了数千个注释的训练和测试。 为了应对任务的大量计算需求，CNNs在一台NVIDIA RTX A6000 GPU上运行，借助cuDNN加速的PyTorch框架。研究人员通过NVIDIA学术硬件赠款计划获得了A6000 GPU。…
Leave a Comment介绍 自从GenAI LLMs发布以来，我们已经开始以各种方式使用它们。最常见的方式是通过像OpenAI网站这样的网站使用ChatGPT或通过OpenAI的GPT3.5 API、Google的PaLM API或其他网站（如Hugging Face、Perplexity.ai）使用大型语言模型的API进行交互。 在所有这些方法中，我们的数据被发送到我们的计算机之外。它们可能容易受到网络攻击（尽管所有这些网站都保证最高的安全性，但我们不知道会发生什么）。有时，我们希望在本地运行这些大型语言模型，如果可能的话，对它们进行本地调整。在本文中，我们将介绍如何设置LLMs以在Oobabooga上本地运行。 学习目标 了解在本地系统上部署大型语言模型的重要性和挑战。 学习在本地创建运行大型语言模型的设置。 探索可以在给定的CPU、RAM和GPU Vram规格下运行的模型。 学习从Hugging Face下载任何大型语言模型以在本地使用。 检查如何为大型语言模型分配GPU内存以运行。 本文是作为数据科学博文马拉松的一部分发表的。 什么是Oobabooga？ Oobabooga是一个用于大型语言模型的文本生成Web界面。Oobabooga是一个基于Gradio的Web UI。Gradio是一个被机器学习爱好者广泛使用的Python库，用于构建Web应用程序，Oobabooga就是使用这个库构建的。Oobabooga将所有在尝试在本地运行大型语言模型时需要设置的复杂事物都抽象出来。Oobabooga附带了许多扩展来集成其他功能。 使用Oobabooga，您可以提供来自Hugging Face的模型链接，它将下载模型，然后您可以立即开始推理模型。Oobabooga具有许多功能，并支持不同的模型后端，如GGML、GPTQ、exllama和llama.cpp版本。您甚至可以在LLM之上使用这个UI加载一个LoRA（低秩适应）。Oobabooga可以让您训练大型语言模型，创建聊天机器人/ LoRA。在本文中，我们将详细介绍使用Conda安装此软件。 设置环境 在本节中，我们将使用conda创建一个虚拟环境。所以，要创建一个新的环境，打开Anaconda Prompt并输入以下命令。…
Leave a Comment在全球最大的游戏会议Gamescom上，AI在游戏领域的最新进展成为焦点，NVIDIA推出了一系列技术，首先是DLSS 3.5，这是其突破性AI神经渲染技术的下一个步骤。 DLSS 3.5是NVIDIA最新的基于AI的图形技术创新，是秋季热门光线追踪游戏的图像质量升级版，包括《赛博朋克2077：幻影自由》、《艾伦·韦克2》和《带有RTX的传送门》等作品。 但NVIDIA并未止步于此。DLSS将进一步应用于更多AAA大作；AI技术将为非玩家角色（NPC）增添情感；Xbox Game Pass游戏将登陆GeForce NOW云游戏服务；GeForce NOW服务器也将进行升级。 DLSS 3.5引入光线重建技术 最重要的消息是DLSS 3.5引入了光线重建技术，这是一项开创性的功能，提升了所有GeForce RTX GPU的光线追踪图像质量，超越了传统手动调优的去噪器，采用了NVIDIA超级计算机训练的AI网络。 结果可以改善反射、全局光照和阴影等光照效果，创造出更具沉浸感和逼真度的游戏体验。 在光线追踪计算机图形中，去噪用于填补缺失的像素，以更高效地合成最终图像。NVIDIA DLSS 3.5的训练数据比DLSS 3多5倍，因此它可以识别不同的光线追踪效果，并在何时使用时间和空间数据方面做出更明智的决策。 DLSS于2019年2月首次发布，经过一系列重大升级，提高了图像质量和性能。 光线重建现在已经成为DLSS 3.5的一部分，该技术套件由GeForce RTX GPU上的Tensor…
Leave a Comment视觉效果工作室长期以来一直依赖于渲染农场（大量的服务器）来处理计算密集型、复杂的特效，但这个情景正在迅速改变。 这些服务器设施存在高硅和能源成本，由于摩尔定律的限制，它们在性能提升方面也受到限制，这损害了工作室的利润并增加了制作时间。 为了避免这些挑战，Wylie Co.——奥斯卡获奖影片《沙丘》、漫威影片、HBO和Netflix的视觉效果工作室——正在全面采用GPU渲染。 据估计，每年渲染逼真的视觉效果和风格化动画消耗近100亿个CPU核心小时。为了渲染一部动画电影，渲染农场可能需要超过5万个CPU核心工作超过3亿个CPU核心小时。这些资源可能会产生相当大的碳效应和物理足迹。 虽然许多工作室已经在渲染过程中使用GPU，但Wylie Co.现在几乎在所有方面都使用它，包括最终渲染以及用于去除线框和合成视觉效果工作流程的许多其他方面。 转向GPU提升性能24倍 渲染农场允许视觉效果工作室将大量的图像、场景或整个电影文件转移到其他地方，从而节省工作室资源，而这些任务可能需要数小时甚至数周才能完成。 许多工作室正在转向多GPU工作站，可以处理之前发送到渲染农场的一些任务。这使得工作室可以更快地迭代，同时缩短制作时间和降低成本。 Wylie Co.在许多领域都迁移到了GPU，总体上与CPU相比，性能提升了24倍1。 GPU的能耗降低了10倍 虽然工作室希望减少这些计算密集型的渲染任务的成本，但事实上，降低的能源和空间成本也带来了较低的碳足迹效益。 在视觉效果渲染流程中使用的GPU可以提高性能高达46倍2，同时降低能源消耗5倍和资本支出6倍。 通过转向GPU，该行业有望在全球节省9亿美元的采购成本，并节省215吉瓦小时的能源消耗，与使用基于CPU的渲染农场相比。 了解有关NVIDIA数字渲染的节能解决方案 1 NVIDIA Quadro RTXTM 8000（每个节点4个GPU）与Intel…
Leave a Comment2021年加密货币繁荣后，人工智能（AI）领域引起了风险投资家（VCs）的巨大兴趣。然而，随着关注点从加密货币转向人工智能，人们开始担心人工智能热潮的可持续性。一些潜在弱点的迹象正在浮出水面，表明人工智能热潮可能即将结束。本文探讨了当前人工智能市场的现状，对GPU的过度依赖，对知识产权的缺乏以及市场饱和的迹象，这些迹象可能导致人工智能泡沫破裂。 也可阅读：中国的十亿美元赌注：百度14.5亿美元人工智能基金标志着自给自足的人工智能新时代 人工智能超越加密货币成为风险投资的关注点 在2022年的加密货币低迷期之后，风险投资家寻求避风港，并在人工智能领域找到了它。2022年末，由OpenAI推出的ChatGPT标志着人工智能在风险投资市场上的主导地位。这一突破引领了谷歌、微软和Facebook等科技巨头加入人工智能狂潮，进一步推动了人工智能初创公司的增长。 也可阅读：KPMG押注超过20亿美元的人工智能，目标收入达120亿美元 人工智能融资狂潮：数百万美元投入初创公司 人工智能初创公司获得了大量的资金，投资轮次令人瞠目结舌。Jasper AI、Anthropic和Inflection AI只是筹集了数十亿美元的资本的几个例子。PitchBook的调查显示，人工智能市场迅速从一个沉寂的研究领域转变为投资者的利润丰厚的游乐场。 也可阅读：AWS和Accel推出“ML Elevate 2023”以推动印度人工智能初创公司生态系统的发展 GPU短缺：追逐高性能硬件 尽管投资令人印象深刻，但人工智能初创公司面临着一个重大挑战，即GPU的严重短缺。筹集的大部分资金被用于从Nvidia和AMD等公司购买高性能GPU。这种激烈的竞争加剧了供应链问题，引发了对这种支出的长期可行性的担忧。 也可阅读：中国的强大Nvidia人工智能芯片的隐藏市场 潜在的知识产权缺失 许多人工智能平台严重依赖于OpenAI等知名公司的API，导致它们几乎没有对知识产权的控制或所有权。随着需求下降，像Jasper AI这样的初创公司面临裁员，进一步凸显了没有强大产品壕沟的企业的脆弱性。 市场饱和和绩效下降的迹象 市场饱和正在变得明显，对ChatGPT、Bard和Bing等人工智能聊天机器人的兴趣首次下降。有关GPT-4性能不准确性增加的报道引发了对人工智能泡沫可持续性的担忧。斯坦福大学的研究显示，GPT-3.5和GPT-4的性能随时间下降，这表明可能是一个转折点。 也可阅读：芯片设计中的政府干预：对印度半导体雄心的福音还是祸害？ 我们的观点 尽管人工智能无疑在各个行业中引起了革命，并在投资者中引起了热情，但市场饱和和对外部API的依赖引发了对人工智能泡沫的担忧。对GPU的过度需求和人工智能模型性能的下降进一步加重了这个泡沫的压力。人工智能热潮可能即将面临现实的检验，行业报告或潜在的破产可能导致泡沫破裂。在我们等待人工智能的未来时，投资者和开发人员必须密切关注市场，应对未来的挑战，并找到可持续的机会。
Leave a CommentNvidia现在的市值已经超过了Facebook、特斯拉和Netflix据路透社报道，该股票的价值在过去八个月里翻了三倍但是这是如何发生的呢？这家曾经几乎处于…
Leave a Comment介绍 在这个由人工智能驱动的世界中，Inflection AI在创建“个人AI智能”方面迈出了一大步。这家人工智能初创公司推出了一台革命性的超级计算机，配备了惊人的22,000个NVIDIA H100 GPU，将计算性能推向了前所未有的高度。Inflection AI定将重新定义个人助理的领域，并将这一前沿的奇迹推向创新的前沿。 还可阅读：NVIDIA建造AI超级计算机DGX GH200 Inflection AI的崛起 凭借其创新的Inflection-1 AI模型，作为著名Pi聊天机器人背后的强大引擎，Inflection AI已经在市场上有了一席之地。虽然它可能还没有达到ChatGPT或谷歌的LaMDA模型这样的行业巨头的水平，但初步报告表明，Inflection-1在“常识”任务上表现出色，使其成为个人助理应用的理想选择。 揭开未来的面纱 经过长时间的期待，Inflection AI雄心勃勃的超级计算机项目终于浮出水面。这台名为“Inflection超级计算机”的巨型机器拥有惊人的22,000个H100 GPU，配备近700个四节点机架，内装Intel Xeon CPU。为了满足这个技术巨兽的无尽需求，将会利用惊人的31兆瓦的功率。 了解更多：CPU与GPU：为什么GPU更适合深度学习？ GPU采购之谜 虽然Inflection超级计算机中的GPU数量令人印象深刻，但真正使其与众不同的是意外获得了22,000个NVIDIA H100 GPU。这种高性能处理器的需求最近超过了供应，许多人难以获得甚至一台。然而，Inflection AI似乎通过与NVIDIA的合作关系找到了战略优势。由于NVIDIA考虑对该公司进行投资，获得如此大量的GPU变得更加可行。…
Leave a Comment介绍 随着人工智能（AI）的不断发展，对更快、更高效的计算能力的需求也在增加。机器学习（ML）模型可能需要很大的计算量，并且训练模型可能需要更长的时间。然而，通过使用GPU并行处理能力，可以显著加快训练过程。数据科学家可以更快地迭代，尝试更多的模型，并在更短的时间内构建性能更好的模型。 有几个可供使用的库。今天我们将学习RAPIDS，这是一个简单的解决方案，可以在不需要任何GPU编程知识的情况下使用GPU加速机器学习模型。 学习目标 在本文中，我们将学习： RAPIDS.ai的高级概述 RAPIDS.ai中的库 使用这些库 安装和系统要求 本文是Data Science Blogathon的一部分。 RAPIDS.AI RAPIDS是一套开源软件库和API，用于完全在GPU上执行数据科学流程。RAPIDS提供了出色的性能和速度，使用了与最流行的PyData库相匹配的熟悉的API。它是基于NVIDIA CUDA和Apache Arrow开发的，这是其卓越性能的原因。 RAPIDS.AI如何工作？ RAPIDS使用GPU加速机器学习来加快数据科学和分析工作流程。它具有经过优化的GPU核心数据框架，有助于构建数据库和机器学习应用程序，并且设计与Python类似。RAPIDS提供了一套完全在GPU上运行数据科学流程的库。它于2017年由GPU Open Analytics Initiative（GoAI）和机器学习社区的合作伙伴创建，旨在使用基于Apache Arrow的GPU Dataframe加速端到端数据科学和分析流程。RAPIDS还包括与机器学习算法集成的Dataframe API。 更快的数据访问，更少的数据移动…
Leave a Comment流星雨照亮夜空的景象令人惊叹。然而，更大的天体与地球相撞的威胁构成了实际的危险。为了对抗这种潜在的灾难，加利福尼亚大学圣塔芭芭拉分校（UCSB）物理学教授菲利普·卢宾和他的本科生团队正在开展开创性的PI-Terminal行星防御计划。他们的目标是更有效地检测和减轻空间威胁，并且他们最近获得了NASA的二期资金用于研究。NVIDIA通过他们的应用研究加速器计划向该团队提供了一张NVIDIA RTX A6000图形卡，以帮助他们完成任务。让我们深入了解这个旨在保护我们的星球免受宇宙威胁的创新人工智能项目的细节。 另请阅读：外星人启发的航天器设计：NASA进军太空未来的大胆跃进 粉碎空间威胁 PI-Terminal行星防御计划的核心目标是更早地检测到相关威胁并采取果断行动来最小化其影响。面对即将发生的碰撞，UCSB团队计划利用一系列高超速动能穿透器。这些专门设计的设备旨在粉碎和解体小行星或小彗星，有效地消除威胁，使其在到达地球表面之前消失。通过分解这些天体，可以大大减少潜在的损害和对地球生命的风险。 检测即将来临的灾难 识别威胁是保护地球的第一个至关重要的步骤。卢宾和他的学生们利用人工智能（AI）分析了大量的天体物理数据。虽然现代调查收集了大量数据，但在所需的速度下处理和分析这些信息是具有挑战性的。为了克服这一障碍，UCSB团队正在设计适用于行星防御的大规模调查。这项调查将产生更多的数据，需要快速处理和分析。 训练AI哨兵 卢宾的团队使用机器学习技术训练了一个名为“You Only Look Once Darknet”的神经网络。这个几乎实时的物体检测系统每张图像的操作时间少于25毫秒。通过利用一个大型的标记图像数据集，神经网络已经被训练来识别低级几何特征，例如线条、边缘、圆圈以及像小行星和小彗星这样的威胁。早期结果表明，由AI驱动的源提取过程比传统方法快10倍，准确率几乎提高了3倍。 另请阅读：AI发现了太阳系外的新行星，科学家未能找到 超级加速处理速度 为了加速他们的图像分析过程，UCSB团队已经整合了NVIDIA RTX A6000 GPU和CUDA并行计算平台。团队最初面临的挑战是减少处理时间并满足GPU内存需求。然而，由于RTX A6000拥有48GB的内存，他们可以处理复杂的图形和大型数据集，而不会影响性能。通过实施新的基于CuPy的算法，该团队极大地减少了减法和识别时间，使整个流程可以在仅六秒钟内运行。 解决技术挑战 随着项目的发展和越来越多的训练数据，该团队面临着处理越来越大的文件大小的挑战。RTX A6000慷慨的内存容量使该团队能够处理分辨率约为100百万像素的图像数据集。这个强大的GPU消除了数据传输瓶颈，确保了平稳的处理和分析。 逼真的模拟以获得精确的解决方案…
Leave a Comment在疫情以来的首次现场主题演讲中，NVIDIA的创始人兼CEO黄仁勋今天在台北举行的COMPUTEX大会上宣布了一些平台，这些平台可以帮助公司乘风破浪，参与到一波历史性的生成式人工智能浪潮中，这个浪潮正在改变从广告到制造业再到电信等行业。 “我们回来了，”黄仁勋在他的家中厨房进行了几年的虚拟主题演讲之后在舞台上大声喊道。“我已经有将近四年没有公开演讲了–祝我好运！” 他向约3500名观众演讲了近两个小时，介绍了加速计算服务、软件和系统，这些都使新的商业模式成为可能，也让现有的商业模式更加高效。 “加速计算和人工智能标志着计算机的重新发明，”黄仁勋说道，他在过去一周在家乡的旅行每天都被当地媒体追踪报道。 为了展示它的强大，他使用了他所在的巨大的8K墙，展示了一个文本提示，生成了一首主题歌，可以随意地唱，就像任何卡拉OK歌曲一样。黄仁勋偶尔用他的家乡语言和观众开玩笑，并短暂地带领观众唱了这首新歌。 “现在我们处于一个新的计算时代的临界点，加速计算和人工智能已经被全球几乎所有的计算和云计算公司所接受，”他说道，指出现在有40,000家大型公司和15,000家初创公司使用NVIDIA技术，去年CUDA软件下载量达到2500万次。 主题演讲的重要新闻公告 Grace Hopper提供大内存超级计算机，用于生成式人工智能。 模块化参考架构可以创建100多个加速服务器变体。 WPP和NVIDIA在Omniverse中创建数字广告内容引擎。 SoftBank和NVIDIA在日本建立5G和生成式人工智能数据中心。 网络技术加速基于以太网的人工智能云。 NVIDIA ACE for Games利用生成式人工智能为角色赋予生命。 全球的电子制造商都在使用NVIDIA人工智能。 企业人工智能的新引擎 对于需要最佳人工智能性能的企业，他推出了DGX GH200，一个大内存人工智能超级计算机。它使用NVIDIA NVLink将多达256个NVIDIA GH200 Grace Hopper超级芯片组合成一个单一的数据中心大小的GPU。…
Leave a Comment