尽管人工智能在过去十年中取得了显著进展，包括在战略游戏中击败人类冠军，如国际象棋和围棋，以及预测蛋白质的三维结构，但大语言模型（LLMs）的广泛采用标志着一种范式转变。这些模型有望改变人机交互方式，在教育、客户服务、信息检索、软件开发、媒体和医疗等各个领域变得不可或缺。尽管这些技术进步带来了科学突破和工业增长，但对地球而言，也存在着一些明显的不利因素。
训练和利用大语言模型的过程消耗了大量能源，导致卓越的环境影响，包括增加碳足迹和温室气体排放。马萨诸塞大学阿默斯特分校信息与计算机科学学院最近的一项研究表明，培训LLMs可能会排放超过626,000磅二氧化碳，大约相当于五辆汽车的终身排放。AI初创公司Hugging Face发现，今年年初推出的大语言模型BLOOM的训练导致了25公吨二氧化碳排放。同样地，Facebook的AI模型Meena的碳足迹堪比在培训过程中驾驶汽车行驶超过240,000英里。
尽管训练LLMs对LLMs至关重要的云计算的需求，如今造成的排放量比整个航空业还要多。一个数据中心的能耗可以相当于50,000个家庭的能耗。另一项研究指出，训练一个大型语言模型可能会释放出与五辆汽车一样多的二氧化碳，在其整个寿命期间使用能源。预测表明，到2025年，人工智能排放量将增长300%，强调了在AI进步与环境责任之间平衡的紧迫性，促使倡议将AI变得更加环保。为了解决人工智能进步对环境的不利影响，可持续人工智能正成为一门重要的研究领域。
可持续人工智能
可持续人工智能代表了人工智能系统开发和部署的一种范式转变，重点是最小化环境影响、伦理考虑和长期社会利益。该方法旨在创建能效高、环境负责、与人类价值观相一致的智能系统。可持续人工智能侧重于为计算机使用清洁能源、使用较少功耗的智能算法，并遵循伦理准则，以确保公平和透明的决策。需要注意的是，AI for sustainability和sustainable AI之间存在区别；前者可能涉及使用AI来优化现有的流程，而不一定考虑其环境或社会后果，而后者在AI开发的每个阶段，从设计到部署，都积极将可持续性原则整合进去，以在地球和社会上产生积极而持久的影响。
从LLMs转向小型语言模型（SLMs）
为了追求可持续人工智能，微软正在努力开发与大语言模型（LLMs）能力相适应的小型语言模型（SLMs）。在这个努力中，他们最近推出了Orca-2，旨在像GPT-4一样进行推理。与之前的Orca-1不同，拥有130亿参数，Orca-2使用了两个关键技术，仅包含70亿参数。
- 指导调整：Orca-2通过学习示例改进，增强其在各种任务上的内容质量、零样本能力和推理能力。
- 解释调整：鉴于指导调整的局限性，Orca-2引入了解释调整。这包括为教师模型创建详细的解释，丰富推理信号，提高整体理解能力。
Orca-2使用这些技术实现了高效的推理能力，与具有更多参数的LLMs相媲美。主要思想是使模型能够找出解决问题的最佳方法，无论是快速给出答案还是逐步思考。
Microsoft通过使用FLAN注释、Orca-1和Orca-2数据集构建了一组新的训练数据来训练Orca-2。他们从简单的问题开始，添加一些棘手的问题，然后使用来自对话模型的数据让模型变得更加智能。
Orca-2经过全面评估，涵盖了推理、文本补全、理解基础、真实性和安全性。结果显示，通过对合成数据进行专门训练，可以增强SLM推理能力的潜力。尽管存在一些限制，Orca-2模型在推理、控制和安全性方面显示出改进的潜力，证明了在训练后有策略地应用合成数据对模型进行优化的有效性。
Orca-2对可持续人工智能的重要意义
Orca-2代表着迈向可持续人工智能的重要一步，挑战了只有能量消耗巨大的大型模型才能真正推动人工智能能力的既有观念。这个小型语言模型提出了一种新的视角，认为在语言模型方面取得卓越并不一定需要庞大的数据集和大量的计算能力，而是强调智能设计和有效整合的重要性。
这一突破开启了新的可能性，主张将焦点从简单扩大人工智能转向如何设计人工智能。这标志着将先进人工智能更广泛地推广给更多的人和组织迈出了关键步骤，确保创新具有包容性，并触及更广泛的人群和组织。
Orca-2有潜力对未来的语言模型发展产生重大影响。无论是改进与自然语言处理相关的任务，还是在各个行业实现更复杂的人工智能应用，这些更小的模型都有可能带来重要的积极变化。此外，它们作为可持续人工智能实践的先驱者，将技术进步与对环境负责的承诺相一致。
总结：
微软的Orca-2代表着迈向可持续人工智能的重大进展，挑战了只有大型模型才能推进人工智能的信仰。通过将智能设计置于尺寸之上，Orca-2开辟了新的可能性，提供了一种更包容和环境负责任的先进人工智能发展方法。这一转变标志着智能系统设计的新范式的重要一步。