Kaggle蓝图
从学术界到工业界：在机器学习实践中找到预测性能和推理运行时间之间的最佳平衡点，以实现可持续性
本文最初是作为“2023 Kaggle AI Report”竞赛的参赛作品于2023年7月5日在Kaggle上发布的，在“Kaggle竞赛”类别中获得第一名。本文是“Kaggle蓝图”系列的特别版，对Kaggle竞赛的报告进行了回顾。
简介
“我认为我们已经到了巨型模型时代的尽头。[…]我们会通过其他方式使它们变得更好。”——OpenAI的CEO Sam Altman在发布GPT-4之后不久这样说道。这个声明让很多人感到惊讶，因为GPT-4的大小（1.76万亿个参数）被估计比其前身GPT-3（1750亿个参数）大十倍。
“我认为我们已经到了巨型模型时代的尽头。[…]我们会通过其他方式使它们变得更好。” — Sam Altman
2019年，Strubell等人[1]估计，训练一个包括调整和实验的自然语言处理（NLP）流水线会产生大约35吨二氧化碳当量，超过美国公民年平均消耗的两倍以上。
让我们更具体地了解一下：据报道，2019年信息技术产生了全球3.7%的二氧化碳排放量。这比全球航空业（1.9%）和航运业（1.7%）的总和还要多！
深度学习模型在不同领域取得了最先进的性能。这些性能提升往往是更大模型的结果。但是构建更大的模型需要在训练和推理阶段进行更多的计算。而更多的计算需要更大的硬件和更多的电力，从而产生更多的二氧化碳排放和更大的碳足迹，这对环境来说是不好的。