人工智能（AI）的广泛应用在社会的各个领域中已经显而易见，从用于实现半自动驾驶汽车的模型，到在流媒体或电子商务网站上提供推荐的模型，再到用于创建更自然、更直观的人机交互的语言模型。然而，这些技术成就是有代价的，主要是因为训练AI算法所需的大量电力、构建和运行这些算法的硬件以及在整个生命周期中运行和维护该硬件所需的电力。
电力成本不是唯一的影响因素；传统的使用化石燃料（以及一些地热过程）发电的电厂在发电过程中排放相对较多的二氧化碳（CO 2 ），而太阳能、风能或核能等可再生能源发电厂则不排放二氧化碳。这些排放的二氧化碳对环境产生直接影响。（请参见Andrew Chien的第5页专栏。）
返回顶部
为什么难以量化碳足迹
虽然所有软件都有碳足迹，即与其使用直接相关的二氧化碳排放量，但大型复杂的AI模型具有显著的环境成本，并越来越受到审查。AI算法在AI数据中心进行训练和运行，这些数据中心根据计算时间、使用的图形处理单元（GPU）类型（基于数据并行性、内存使用和性能水平），以及电力来源和在构建和部署计算基础设施过程中使用的电力量，产生一定数量的二氧化碳排放。除了在开发或使用算法时消耗的电力和产生的二氧化碳之外，从地球上提取用于硬件和数据中心的原材料的过程、用于构建、组装、运输和安装这些硬件的制造过程，以及处理这些硬件一旦寿命结束后的成本，都会对AI算法的整体碳足迹产生影响。
“最安全地考虑AI的碳足迹是将其作为整体ICT（信息和通信技术）碳足迹的一个子集来考虑，根据2020年的广泛估计，整体ICT碳足迹大约在1.8%至2.8%之间，”全球技术研究和咨询公司ISG的首席顾问兼可持续发展负责人Matt Warburton说道，他引用了一篇2021年的Patterns文章，该文章还指出AI的碳足迹的其他估计范围为总温室气体（GHG）排放的2.1%至3.9%。”相比于制造业和交通运输等更污染的行业，这些影响是相对较小的，”Warburton说道。美国环境保护局（EPA）指出，2020年交通运输（27%）和工业（24%）占据了总体温室气体排放的重要部分（http://bit.ly/3KNoWJl）。
这种综合方法并未考虑到每个单独模型的碳足迹，因为许多大型AI模型的能源消耗缺乏详细数据，因此更难准确确定。然而，AI初创公司Hugging Face发布了一篇论文（http://bit.ly/3xJgnar），计算了其自己的一个AI模型的碳足迹，考虑了模型整个生命周期产生的排放量，而不仅仅是训练期间的排放量。
Hugging Face估计其自己的大型语言模型BLOOM的训练导致了25吨二氧化碳排放量，当考虑到用于训练的计算机设备的制造、更广泛的计算基础设施以及运行BLOOM所需的能量时，这个数字增加到了50吨二氧化碳排放量。
虽然可以使用更快或更高效的硬件来减少AI模型的训练时间，但模型的整体大小和复杂性对二氧化碳排放量的影响最大。首先，大型模型通常比较小型模型消耗更多的电力，因为它们更复杂，需要更长的计算训练时间。例如，GPT-1（2018年6月）包含约12亿个参数；GPT-2（2019年2月）包含约15亿个参数；GPT-3（2020年5月）包含约1750亿个参数，随着复杂性的增加，其碳排放量也会增加。然而，可以通过几种技术来减轻这种影响。
模型的整体大小和复杂性对二氧化碳排放量的影响最大。
压缩是一种减少模型中每个参数的位宽的技术，可以减小模型的大小和降低能源消耗。其他技术包括数据量化和修剪（从模型中删除冗余的参数和连接器）、蒸馏（使用较大模型的知识训练一个小型模型，以创建一个更小、更高效的模型）和迁移学习（通过在较小模型中应用的学习来启动较大模型的训练）。所有这些技术都旨在减少训练时间，从而减少所消耗的电力量。
决定二氧化碳排放水平的最重要因素是电力的来源。Hugging Face的BLOOM模型是在法国的一个主要由核能供电的超级计算机上训练的，核能不会产生二氧化碳排放。而在能源主要依赖化石燃料的地区训练的模型很可能污染更严重，碳足迹也更大。相比之下，OpenAI的GPT-3和Meta的OPT算法在训练过程中估计分别排放了超过500和75公吨的二氧化碳（尽管GPT-3的二氧化碳排放量更高可以部分归因于该算法是在较旧、效率较低的硬件上训练的）。
其他研究人员也发表了论文，强调了AI模型相对较大的碳足迹。艾伦人工智能研究所和微软与希伯来大学、卡内基梅隆大学和Hugging Face的同事合作，通过将云负载的能源消耗与数据中心电网的碳强度相乘，测量了Azure AI负载的运行碳排放量。研究人员发现，这个60亿参数的语言模型排放的二氧化碳比一年的美国家庭平均排放量还要多，尽管它只训练了达到完全训练能力所需时间的13%。如果模型训练完成，艾伦人工智能研究所估计完整的训练过程将“排放约一个数量级的更多排放物”。研究界以及商业AI开发人员更关注性能而不是可持续性，这让一些行业观察者感到担忧。
艾伦人工智能研究所的研究科学家杰西·道奇表示：“当AI开发人员创建新系统时，他们试图提高性能、准确性或模型的能力，而对效率的关注较少。” “对于一些最近由营利性AI研究和开发公司发布的模型，存在着有意的缺乏透明度。他们不愿意向公众透露训练这些模型所用的GPU小时数，因为这给他们带来了竞争优势。”
道奇表示，理解AI的碳足迹的最大障碍是缺乏透明度，他认为这将需要一些关于公开或减排的立法来克服。“我认为这需要一些时间，但我确实希望我们最终会看到一些法规。”道奇说。“欧洲AI法案曾经考虑了包括关于二氧化碳排放透明度要求的信息，但最终未纳入最终发布的法案中。”
此外，除了科研界，公众似乎对AI对碳排放的影响缺乏普遍意识。“我认为人们通常认为AI是一种无形的东西，常常存在于云端，”Hugging Face的研究科学家萨夏·鲁奇奥尼说。“我认为这也涉及到一种认知偏差；‘Siri没有实体形态，那它怎么可能有环境足迹呢？’”
鲁奇奥尼指出了评估算法真正足迹的一个关键难点，指出除了数据科学家的不透明性外，计算基础设施供应商（包括GPU制造商、数据中心硬件提供商和它们的组件供应商）往往将二氧化碳排放责任推给其他人。
“我曾经与硬件供应商的人交谈过，他们说：‘嗯，你知道的，我们有成千上万的供应商生产着数百种产品’，”Luccioni说。“所以对他们来说，追踪每个供应商并问‘你的可持续性报告在哪里？’真的很困难。”
Dodge表示，了解人工智能的碳足迹最大的障碍是营利性人工智能开发公司的缺乏透明度。
除了追踪或计算人工智能模型的碳足迹外，本文采访的专家们一致认为更重要的是考虑采取哪些措施来减少人工智能对环境造成的影响。
Luccioni表示，购买碳抵消积分在纸面上可以减少模型的碳足迹，但并不能真正减少排放的碳量，她指出：“如果你使用一个碳排放密集型的能源中心来训练一个模型两百万小时，然后你购买一堆可再生能源积分，这并不完全相同。”
Warburton表示，在构建和训练模型之前，应该考虑到AI模型的最终用途，以及它是否专注于可持续性和公益。“评估人工智能的可持续性应该考虑到它产生的结果的背景，”Warburton说。“使用人工智能加速发现可以将混凝土排放减少一半的化合物，而不会出现不可接受的妥协，显然比使用人工智能挖掘加密货币更可持续。”
Dodge表示，一些大型石油公司使用人工智能系统来提高其石油开采速度。“你可以尽可能高效地训练它，”Dodge说，但“如果你然后使用那个人工智能从地下提取更多石油，那最终会导致更多的排放。”
最容易实施的解决方案之一是选择在碳强度较低的地区的云服务上训练算法，并适当调整算法中使用的参数数量。Luccioni表示，一些人工智能开发者会简单地选择在最强大的数据中心上训练他们的模型，即使他们的模型并不需要那种计算能力。这些数据中心中的许多位于美国和其他国家，这些国家在发电方面严重依赖化石燃料，因此会导致具有较大碳足迹的模型。
“目前，人们在启动训练工作时并不一定会考虑到这一点，”Luccioni说。此外，她说：“有一些研究表明，算法越大，越好，但这并不具有决定性的意义，增加十亿个参数不会使准确率提高1%。”
Dodge同意这一观点，并指出在他的研究中，CO2排放量的很大一部分是根据训练模型消耗的电力计算得出的。“选择训练模型的区域或将模型投入生产可能会产生相当大的影响，”Dodge说。“我们发现相对于碳排放最严重的地区，选择在碳排放最低的地区进行训练可以将排放量减少到三分之二或三分之一。”
进一步阅读
Luccioni, A.S.等人。《估计BLOOM的碳足迹，一种拥有1760亿参数的语言模型》。2022年11月。https://arxiv.org/pdf/2211.02001.pdf
Frietag, C.等人。《ICT的真实气候和变革影响：对估计、趋势和规定的批评》。Patterns, 卷2, 第9期, 2021年9月。https://www.sciencedirect.com/science/article/pii/S2666389921001884#!
Buchanan, W.和Dodge, J.《衡量和减少碳强度 Allen Institute for AI, 2022年6月13日，https://bit.ly/3kiTLKZ
视频：芯片公司更关注原始速度而不是碳足迹：https://www.youtube.com/watch?v=2Z6Sv_ZldMM
返回顶部
作者
Keith Kirkpatrick是总部位于美国纽约的4K Research & Consulting, LLC的负责人。
©2023 ACM 0001-0782/23/8
允许个人或课堂使用者制作本作品的数字或实体副本，无需付费，但副本不得以牟利或商业优势为目的分发或传播，并且副本必须带有本通知和完整引用在第一页上。对于非ACM拥有的本作品组成部分的版权必须予以尊重。允许以给予信誉的方式进行摘要。如需复制、再发行、在服务器上发布或在列表中重新分发，需要事先获得特定的许可和/或支付费用。请通过permissions@acm.org或传真（212）869-0481申请出版许可。
数字图书馆由计算机协会出版。版权©2023 ACM, Inc.