GPU被称为人工智能的稀土金属，甚至是黄金，因为它们是当今生成式人工智能时代的基石。 三个技术原因以及许多故事解释了为什么会这样。每个原因都有多个值得探索的方面，但总体上有： GPU采用并行处理。 GPU系统可扩展到超级计算高度。 用于人工智能的GPU软件堆栈既广泛又深入。 总的结果是，GPU比CPU以更高的能效计算技术，并且更快地执行计算。这意味着它们在人工智能训练和推理方面提供领先的性能，并且在使用加速计算的各种应用中都能获得收益。 在斯坦福大学的人工智能人本中心发布的最新报告中提供了一些背景信息。报告中指出，GPU性能“自2003年以来增加了约7000倍”，每单位性能的价格“增加了5600倍”。 2023年的报告展示了GPU性能和价格/性能的急剧上升。 报告还引用了独立研究团体Epoch的分析和预测人工智能进展的数据。 Epoch在其网站上表示：“GPU是加速机器学习工作负载的主要计算平台，在过去五年中，几乎所有最大的模型都是在GPU上训练的… 从而对AI的最新进展做出了重要贡献。” 一份为美国政府评估人工智能技术的2020年研究得出了类似的结论。 “当计算生产和运营成本计算在内时，我们预计[前沿]人工智能芯片的成本效益比领先节点的CPU高出一个到三个量级，”研究报告中说。 在Hot Chips，一年一度的半导体和系统工程师聚会上，NVIDIA公司的首席科学家比尔·达利在一个主题演讲中表示，NVIDIA GPU在过去十年中在AI推理方面的性能提升了1000倍。 ChatGPT传播新闻 ChatGPT为GPU在人工智能方面的优势提供了一个强有力的例子。这个大型语言模型(LLM)是在数千个NVIDIA GPU上训练和运行的，用于服务超过1亿人使用的生成式AI。 自2018年推出以来，作为人工智能的行业标准基准，MLPerf详细记录了NVIDIA GPU在人工智能训练和推理中的领先性能。 例如，NVIDIA Grace Hopper超级芯片在最新一轮推理测试中表现优异。自那次测试以来，推出的推理软件NVIDIA TensorRT-LLM性能提升了8倍以上，能源使用和总拥有成本降低了5倍以上。事实上，自2019年基准测试发布以来，NVIDIA…
Leave a Comment