ChatGPT 日耗电超 50 万度,卡死AI发展的竟然是能源?
最近《纽约客》报道,ChatGPT 每日耗电量或超过 50 万千瓦时,相当于美国家庭平均用电量的 1.7 万倍。埃隆·马斯克也曾预言,未来两年内电能短缺将成为制约 AI 发展的主要因素。然而,事实真的是这样吗?
目前关于 AI 耗电量的观点主要源自估算结果,而非真实的测量数据。美国信息技术与创新基金会(ITIF)发布的报告认为,个别不准确的研究大大高估了 AI 的能耗,这样的言论可能对 AI 发展造成不利影响,阻碍 AI 在促进节能减排、应对环境挑战方面发挥潜力。业界人士呼吁,应当促进行业信息透明,同时减少 AI 技术的滥用。
AI 能耗评估难题:
影响因素众多
ITIF 是一家非营利智库,总部位于美国华盛顿。在这份题为《重新审视对人工智能能耗的担忧》的报告中,ITIF 指出,不同 AI 模型的能耗和碳排放存在巨大差异,受到诸多因素的影响,包括芯片设计、冷却系统、数据中心设计、软件技术、工作负担、电能来源等。
所以,在估算 AI 的能耗方面,不同研究的结论出现了较大分歧。2019 年马萨诸塞大学阿默斯特分校团队发布的一项预印本研究估算,当时领先的谷歌公司大语言模型 BERT 在 79 小时的训练过程中排放了约 1438 磅二氧化碳(约合 652 千克),量级相当于一名乘客乘坐飞机往返于纽约和旧金山一次。研究也对 AI 神经架构搜索(NAS)等技术得出了类似结论。这篇论文在谷歌学术被引用接近 3000 次,并得到了大量媒体报道。
然而,从事 AI 研发的企业和机构得出了截然不同的分析结论。2021 年,谷歌公司与加州大学伯克利分校发布一项预印本研究认为,前述研究将谷歌的 AI 碳排放数值高估了 88 倍。但是这项研究得到的关注远不如前者,被引数仅有 500 左右。
图库版权图片,转载使用可能引发版权纠纷
由于媒体和公众关注负面信息的倾向,结论惊人的研究更容易得到传播。科技行业名人的言行也在放大“ AI 能耗巨大”的信息,马斯克曾预言“制约 AI 发展的因素将由‘缺硅’变成‘缺电’”;Open AI CEO 萨姆·阿尔特曼也表示 AI 将消耗更多电力,并高调投资核聚变。
从全生命周期视角
评估 AI 能耗
ITIF 报告指出,目前许多研究和政策都关注 AI 训练(training)阶段,但多项研究表明 AI 在推理(inference)过程中,也即人们使用 AI 输出结果的过程能耗更高。此外,不同 AI 模型处理不同类型的推理任务,能耗的差异也很大。例如 1000 次请求计算,图片分类任务的耗电量是 0.007 千瓦时,而图片生成任务耗电 2.907 千瓦时。
报告作者指出,AI 的训练是一次性事件,而它的使用是长期过程,讨论 AI 能耗问题时应该关注的不是爆发式增长,而是长期的影响。并且,从技术史的视角看来,AI 及其能耗的增长还将受到以下 4 个因素的限制:
1
基础设施建设成本将制约 AI 的快速增长
“ChatGPT 每日耗电量或超过 50 万千瓦时”的结论,出自技术博客 Digiconomist 作者亚历克斯·德·弗里斯(Alex de Vries)的估算。德·弗里斯还曾预测,在最糟糕的情况下,谷歌的 AI 用电量将与整个爱尔兰相当,达到每年 29.3 TWh(太瓦时)。但他同时也指出,要想达到这样的规模,谷歌需要在芯片上投入 1000 亿美元,此外还要数据中心的运营和电费投入数十亿美元。如果AI的运营成本居高不下,逐利的商业公司自然会放慢脚步,减少投入。
2
AI 性能增长存在边际效应
近年来 AI 连续在许多领域取得了突破性进展,这也意味着它可能很快迎来一个瓶颈期。研发、运营更大的模型带来的回报将越来越低,在提升准确性上精益求精也将变得更困难。所以,优化 AI 模型可能是接下来的研发方向。
3
软件和硬件的性能提升将减少 AI 能耗
AI 模型的优化,以及硬件技术的进步,都有望减少 AI 的能耗。一项发表于《科学》期刊的研究指出,在 2010~2018 年间,全球数据中心的运算量增长了 550%,存储空间增长了 2400%,但耗电量仅增长 6%。硬件、虚拟技术和数据中心设计方面的创新提升了能效,也使得云计算的规模化成为可能。
图库版权图片,转载使用可能引发版权纠纷
同样,剪枝(pruning)、量化(quantization)、蒸馏(distillation)等技术有望带来更好的算法,让 AI 模型更快、更节能。谷歌公司和加州大学伯克利分校研究团队指出,有赖于各项技术进步,近年来在谷歌公司内部 AI 的能耗占比保持稳定,尽管机器学习增长到运算量的 70%~80%。
4
AI 的应用最终将在某些方面减少碳排放
整体上,当人们用电子邮件替代传统书信,用观看 DVD 或流媒体频道替代去电影院看电影,这些活动的数字化都减少了碳排放。AI 有望在这方面继续发挥作用,例如通过改进视频通话体验,使更多的会议转向远程进行。此外,AI 技术还可用于进行电网调度、分析气候数据,从而成为应对气候变化的助力。
准确评估 AI 能耗
促进领域健康发展
从历史的角度看,关于 AI 碳排放的担忧并不新鲜。90 年代曾有人预测,未来发电量的一半将用于满足互联网活动;在流媒体出现的时候,同样有人提出类似观点。如今我们知道,这些担忧都并未成为现实。ITIF 报告认为,如果没有完全理解 AI 能耗问题就急于进行管控,可能会阻碍 AI 的性能提升,限制其发展潜力。例如,使 AI 消除偏见和仇恨言论、避免输出有害信息,都需要进行更多的推断,从而提升能耗。
报告建议,应对大众关于 AI 能耗问题的担忧,决策者应当:
① 制定相应标准,使 AI 模型能耗公开透明;
② 鼓励业界主动公开 AI 模型能耗信息,以便公众进行知情选择;
③ 考虑 AI 法规对能源使用的意外后果;
④ 利用 AI 实现政府运作的低碳化。
一些机构已经在推动 AI 的信息公开。2023 年 12 月,欧盟通过《人工智能法案》,这是全球首部 AI 监管法案。法案督促 AI 开发者致力于使模型高能效、可持续,并要求进行相应的信息公开。
图库版权图片,转载使用可能引发版权纠纷
德·弗里斯同样呼吁进行信息公开,同时他希望及时限制 AI 的发展,就像限制加密货币技术一样。数字经济学家(Digiconomist)博客指出:“ AI和先前的区块链等新兴技术的发展,伴随着大量的狂热和错失恐惧(FOMO),这通常会催生对终端用户没什么益处的应用 。”
而在《纽约客》报道中,著名科学记者伊丽莎白·科尔伯特(Elizabeth Kolbert)的原话是:“每当 ChatGPT 吐出信息(或给某人写高中作文),都需要进行大量运算。据估计,ChatGPT 每天要响应约 2 亿次请求,同时消耗超过 50 万千瓦时电力。”也就是说,要应对 AI 能耗危机,或许可以从限制使用 AI 写作业开始。
参考文献
[1] Elizabeth Kolbert. The Obscene Energy Demands of A.I.. The New Yorker. https://www.newyorker.com/news/daily-comment/the-obscene-energy-demands-of-ai. <2024-03-09/2024-03-09>
[2] Loz Blain. Elon Musk: AI will run out of electricity and transformers in 2025. New Atalas. https://newatlas.com/technology/elon-musk-ai/. <2024-03-01/2024-03-12>
[3] Daniel Castro. Rethinking Concerns About AI’s Energy Use. Center for Data Innovation. ITIF. https://itif.org/publications/2024/01/29/rethinking-concerns-about-ai-energy-use/. <2024-01-29/2024-03-04>[4] Strubell, Emma, Ananya Ganesh, and Andrew McCallum. "Energy and policy considerations for deep learning in NLP." arXiv preprint arXiv:1906.02243 (2019). https://arxiv.org/pdf/1906.02243.pdf[5] Patterson, David, et al. "Carbon emissions and large neural network training." arXiv preprint arXiv:2104.10350 (2021). https://arxiv.org/abs/2104.10350
[6] OpenAI CEO Altman says at Davos future AI depends on energy breakthrough. Reuters. https://www.reuters.com/technology/openai-ceo-altman-says-davos-future-ai-depends-energy-breakthrough-2024-01-16/. <2024-01-16/2024-03-12>
[7] de Vries, Alex. "The growing energy footprint of artificial intelligence." Joule 7.10 (2023): 2191-2194.
https://www.cell.com/joule/pdf/S2542-4351(23)00365-3.pdf[8] Eric Masanet et al., “Recalibrating Global Data Center Energy-Use Estimates,” Science 367, no. 6481 (February 28, 2020): 984–86, https://doi.org/10.1126/science.aba3758.
[9] Patterson, David, et al. "The carbon footprint of machine learning training will plateau, then shrink." Computer 55.7 (2022): 18-28.
[10] Artificial intelligence act: Council and Parliament strike a deal on the first rules for AI in the world. Council of the EU. https://www.consilium.europa.eu/en/press/press-releases/2023/12/09/artificial-intelligence-act-council-and-parliament-strike-a-deal-on-the-first-worldwide-rules-for-ai/. <2023-12-09/2024-03-12>[11] Powering AI could use as much electricity as a small country. Digiconomist. https://digiconomist.net/powering-ai-could-use-as-much-electricity-as-a-small-country/ <2023-10-10/2024-03-12>策划制作
作者丨玛雅蓝 科普创作者
审核丨于旸 腾讯玄武实验室负责人
策划丨徐来 杨雅萍
责编丨何通