藏在AI背后的“吃电狂魔”

以GPT-3的训练为例,斯坦福人工智能研究所发布的《2023年人工智能指数报告》显示,1750亿参数的GPT-3在训练阶段的耗电量高达1287兆瓦时。

前述斯坦福人工智能研究所发布的《2023年人工智能指数报告》认为,每次AI搜索的耗电量大约为8.9瓦时,对比谷歌单次搜索0.3瓦时的耗电量,加入AI的单次耗电量几乎是一般搜索耗电量的30倍。

3月底,美国密歇根湖畔的一座已经关闭的核电站Holtec Palisades,获得来自美国能源部的15亿美元贷款担保,进入重启阶段。如果顺利通过监管环节,它将成为美国历史上第一座重启的核电站。

美国能源部之所以重启核电发力,是出于对电能需求失衡的担忧。在制造业、电动汽车等行业的耗电需求上升之际,人工智能行业的快速发展,加速了美国电力危机的到来。

“人工智能本身不是问题,因为它可以帮助解决问题。”美国能源部长詹妮弗·格兰霍姆在接受Axiro采访时表示,但是人工智能和数据中心对电力日益增长的需求,却成了实实在在的新问题

小小应用,吃电狂魔

人工智能应用究竟有多耗电?

荷兰科学家亚历克斯·德弗里斯在他的论文中,为对话机器人ChatGPT算了这样一笔账:

每当ChatGPT试图响应一次问题,它需要消耗2.9瓦时的电量。这是什么概念?响应10次的电量,可以支撑一个功率15W的LED灯泡工作2小时;响应100次,可以给智能手机充大约13次电。

一天内,ChatGPT平均需要处理约2亿个来自用户的对话请求,这意味着它单日消耗的电量就要超过564兆瓦时(1兆瓦时=1000千瓦时,564兆瓦时相当于56.4万度电)以美国每个家庭每日平均耗电量换算,ChatGPT每天需要消耗掉1.7万个美国家庭一天的用电量。

由于模型参数、能耗处理等因素差异,不同AI模型的耗电量无法被准确估算。于是,亚里克斯以英伟达推出的A100服务器作为测算对象,对整个人工智能行业可能产生的耗电量进行估算。

基于他的假设,到2027年,英伟达可能推出150万台A100服务器,其中95%将被应用于AI行业。每一台DGX A100型号的服务器内置8张A100芯片,以1140万张A100芯片的耗电量进行估算,2027年,整个人工智能行业每年的耗电量将高达85~134太瓦时(1太瓦时=1×106千瓦时)

也就是说,到2027年,AI耗电量或将接近人口超过1000万的瑞典或1700万人口的荷兰一年的总用电量,相当于当前全球用电量的0.5%。

按照这个估算值,AI的耗电量或将比肩比特币挖矿。据剑桥大学计算,比特币挖矿一年耗电量大约是165.99太瓦时,接近人口一亿的埃及一年的用电量。

比特币挖矿如此耗电,是由它的工作方式决定。在比特币之父中本聪的设计中,比特币系统通过工作量证明(Proof-of-Work)的方式,让矿工们竞相计算出一个足够困难的哈希值(由数字+字母构成的字符串)来创建新的区块并获取奖励。这种竞争性的计算过程,需要消耗大量的电力和计算能力。

AI之所以如此能吃电,是因为大模型的训练和推理过程均需消耗大量电力。

大模型质量的关键在于数据、算力和顶尖人才,而高算力的背后,是靠着数万张芯片昼夜不停地运转支撑。

相比于平常安装在笔记本电脑上的CPU(中央处理器),GPU(图形处理器)被证明是更适合AI训练的硬件。如果把CPU看作一个处理单任务的元件,那么GPU的优势就是同时处理多个并发任务。虽然GPU起初并非为了处理AI需求而生,但同时处理多任务的特质,让它成为进入AI大模型训练场的门票。

和CPU相比,GPU可以处理多个并行任务,图源:英伟达官网

快的代价是更高的能量损耗。据估算,一张GPU比CPU的能耗高出10~15倍。在大模型训练过程中,需要多张GPU接连不断运转。大模型参数量和数据量越大,训练耗费的电量也越大。

以GPT-3的训练为例,斯坦福人工智能研究所发布的《2023年人工智能指数报告》显示,1750亿参数的GPT-3在训练阶段的耗电量高达1287兆瓦时。哈工大人工智能研究院院长刘劼打了个比方,相当于开车从地球到月球往返一次。

在完成训练后,AI在推理方面的耗电量又远超过训练耗费的电量。

每响应一个请求,大模型需要完成推理过程,找到最接近问题的解答。按照上述数据推算,GPT-3在训练阶段消耗的电量,甚至无法支撑ChatGPT运行3天。

在多模态大模型发展成为主流的情况下,在AI响应需求的推理过程中,耗电量还将进一步提升。据人工智能公司Hugging Face的研究,不仅多模态大模型耗电量远超过一般模型,涉及图像处理的模型也比纯文本处理更耗电。

具体到不同任务,文本分类、标记和问答等简单任务相对低耗,千次推理仅需0.002~0.007千瓦时。而在响应多模态任务时,一次文本到图像生成耗能最高需要用到2.9千瓦时,相当于ChatGPT响应100次的耗电量。

巨头的AI梦,把电力缺口撕得更大

从训练15亿参数的GPT-2到训练1750亿参数的GPT-3,OpenAI从十亿参数到千亿参数的跨越,仅用了一年时间。

大模型狂飙之际,越来越多的大型科技公司开始把AI和公司主营业务的融合提上日程。

谷歌试图在搜索中结合AI功能,但它的能耗十分惊人。去年2月,谷歌母公司Alphabet董事长John Hennessy表示,在搜索中应用人工智能的成本将是普通搜索的10倍。

前述斯坦福人工智能研究所发布的《2023年人工智能指数报告》认为,每次AI搜索的耗电量大约为8.9瓦时,对比谷歌单次搜索0.3瓦时的耗电量,加入AI的单次耗电量几乎是一般搜索耗电量的30倍。

和OpenAI合作密切的微软,也计划把AI大力“塞进”它的几个主要产品线,如Office软件、Windows操作系统、Bing搜索引擎、Azure云服务等。

为了提供更充足的算力,以支撑AI大模型的训练和使用,作为底座的基础设施,数据中心的建造已被科技企业们纳入下一步规划。

2023年,谷歌斥资超25亿美元,分别在俄亥俄州、爱荷华州、亚利桑那州梅萨建造数据中心。看好AI发展的亚马逊计划在未来15年中投入1500亿美元兴建数据中心。

当膨胀的电量需求无法被一一满足,美国部分城市的电力拉响了告急的警报。

美国拥有全球最多的数据中心。截至2022年,美国拥有超过2300个数据中心,占全球数据中心的1/3。

其中,包括亚马逊、微软、谷歌等在内的云计算巨头在美国本土的数据中心布局尤为庞大。据Synergy Research Group统计,在超大规模运营商当中,亚马逊、微软和谷歌合计占据所有主要数据中心的一半以上。微软在美国拥有24个可用区,一个可用区配备3个或以上数据中心。

据国际能源署(IEA)预测,未来几年,美国数据中心用电量将快速增长。IEA警告,2022年,美国数据中心的用电量已占美国总电力的4%以上,到2026年,其用电量占比将提升至6%,此后几年还将持续扩大。

但是,与快速增长的人工智能电力需求相悖的是,美国的发电量并没有出现明显增长的迹象

据美国能源信息署,2023年,美国全口径净发电量为41781.71亿千瓦时,比上一年下降1.2%。实际上,近十年来,美国的全年净发电量一直在40000亿千瓦时的边缘徘徊。 

1950-2023年美国净发电量变化(单位:十亿千瓦时),图源:Statista

造成美国缺电的元凶之一是其脆弱的电网输送设施。美国的变压器、输电线路等电网基础设施建于上世纪60年代至80年代,电路老化问题明显。白宫在2022年的一份文件中指出,许多变压器和输电线路正接近或已超过其设计寿命,全国70%的输电线路已经使用了25年以上。

在老化的电网基础设施之下,美国从其他地区输电和接入可清洁能源扩充电网储备能量的想法均无法实现。美国能源部(DOE)发布的一份报告指出,在德克萨斯州、阿拉斯加州等多个地区,美国建成的输电系统已面临满负荷的情况。

为了加强美国各州电网的弹性和可靠性,去年,美国能源部宣布,将对44个州的58个项目投资34.6亿美元。

电力危机已近在眼前。在不久的将来,它还可能成为制约AI发展的关键因素。

2024年2月,在达沃斯世界经济论坛上,OpenAI首席执行官萨姆·阿尔特曼提到了AI带来的电力危机。在他看来,人工智能消耗的电力将远远超出人们的预期。“我们尚未充分认识到AI的能源需求。如果没有重大突破,我们就无法实现(通往AGI)这一目标。”

在博世互联网论坛上,特斯拉CEO马斯克同样强调了人工智能面临的发展困境。“接下来短缺的将是电力。”他判断,电力缺口最早可能会在2025年发生。“明年你会看到,我们没有足够的电力来运行所有的芯片。”

钳制与出路

不堪重负的电网已经开始限制科技企业的业务拓展。

在社交媒体X上,开源社区OpenPipe创始人Kyle Corbitt分享了他和微软工程师的对话,他们提到了OpenAI在训练GPT-6期间,GPU在不同州之间面临的传输困境。

“我们不可能在一个州投放超过10万个H100芯片,同时还不破坏电网。”一张H100的最大功耗为700瓦,根据微软工程师的测算,以年利用率61%来算,10万张H100的耗电量将高达42兆瓦时。

为了满足飙升的电力需求,首先被牺牲的是减少碳排放的目标。

据《华盛顿邮报》,美国多地电力需求增长超出预期。以佐治亚州为例,预计未来十年的新增用电量将是最近的17倍。位于美国堪萨斯州、内布拉斯加州、威斯康星州和南卡罗来纳州的燃煤电厂已经决定延迟退休时间。

面对吃电大户挖矿机,不同国家推出了程度不同的监管政策。据美国能源部估计,加密货币挖矿的年用电量或占美国用电量的0.6%至2.3%。为此,美国考虑对加密货币挖矿业务征收高达30%的数字资产采矿能源消费税。加拿大已有三个省份宣布加密货币挖矿禁令。

AI也引起了监管机构的关注。由于每家AI企业的能源损耗情况难以被统一量化估计。海外监管机构开始推动立法,要求人工智能开发企业披露能源的使用情况,以合理估算AI带来的能耗影响。

今年3月,欧盟27个成员国批准通过的《人工智能法案》中,要求“高风险人工智能系统”报告其能源消耗和资源使用情况。

科技企业的掌舵者几年前就押注新型能源公司,期待用清洁的可再生能源支撑庞大的电力需求。

2021年,OpenAI首席执行官阿尔特曼向核聚变初创公司Helion Energy投入3.75亿美元。2023年5月,微软与这家公司签署购电协议,预定从2028年开始向其购买50兆瓦电力。坏消息是,它甚至不足以支撑GPT-3训练耗费电量的1/25。

通过技术优化性能,也能显著降低能耗。

在今年的GTC发布会上,英伟达CEO黄仁勋带来了一款新的GPU产品Blackwell。通过使用新的架构,它的能耗降低了70%以上:训练一个1.8万亿参数的GPT模型,传统方法可能需要8000个GPU、15兆瓦,历时90天。而Blackwell只需2000个GPU,功耗4兆瓦。

相比马斯克和阿尔特曼的警世之言,黄仁勋也同样担忧电能的供给,但他给出了一个更加乐观的展望:“过去十年,我们将计算和人工智能提高了100万倍……而它所消耗的成本、空间或能源,并未增长100万倍。”

写在最后

一个多世纪之前,能源革命改变了人们的生活方式。从燃烧麦草的火力过渡到煤炭、石油,在历史发展的关键时期,人们对新能源的挖掘推动了工业革命的进程。

“每一个煤筐里都装着动力与文明。”美国思想家、文学家爱默生曾如是感慨。

一种能源的稀缺,往往成为挖掘新一种能源的动力。在《黑石头的爱与恨:煤的故事》一书中,作者巴巴拉·弗里兹讲述了发生在16世纪英国的“木材危机”。

“由于城市的不断扩大,附近郡县的森林渐渐被砍伐殆尽,人们不得不从越来越远的地方运来木材.……单是伦敦的酿酒者,每年就要烧掉两万货车的木头。”当木头价格的上涨超过通货膨胀的速度,成为稀缺资源后,英国国内的用煤量剧增。

能源的开采和使用,成为决定工业发展的关键之手。充足的煤炭支撑英国发展纺织业、钢铁业,成为第一次工业革命的中心,而石油的开采则带动汽车、飞机等行业的兴旺。

在化石能源枯竭的危机下,对新能源的利用,不仅能缓解迫近人工智能行业的能源危机,也承载着人类科技继续前行的“动力与文明”。

参考资料

[1] Granholm eyes talks with Big Tech on AI power needs.Axios

[2] Amid explosive demand, America is running out of power.The Washington Post

[3] Nvidia CEO Jensen Huang at World Government Summit.

[4] The AI Act Explorer.

[5] Bitcoin: A Peer-to-Peer Electronic Cash System.Satoshi Nakamoto

[6] A.I. Could Soon Need as Much Electricity as an Entire Country.The New York Times

[7] Cambridge Blockchain Network Sustainability Index: CBECI.CCAF

[8] The Biden-⁠Harris Administration Advances Transmission Buildout to Deliver Affordable, Clean Electricity.The White House

[9] Microsoft, Amazon and Google Account for Over Half of Today’s 600 Hyperscale Data Centers.Synergy Research Group

本文来自微信公众号:雪豹财经社(ID:xuebaocaijingshe),作者:魏琳华

声明: 该内容为作者独立观点,不代表新零售资讯观点或立场,文章为网友投稿上传,版权归原作者所有,未经允许不得转载。 新零售资讯站仅提供信息存储服务,如发现文章、图片等侵权行为,侵权责任由作者本人承担。 如对本稿件有异议或投诉,请联系:wuchangxu@youzan.com
(0)
上一篇 2024年4月9日
下一篇 2024年4月9日

相关推荐

  • 水温80度:AI行业真假繁荣的临界点

    我们从来没拥有过这么成功的AI主导的产品。

    (这种分析统计并不那么准,但大致数量级是差不多的)

    这两个产品碰巧可以用来比较有两个原因:

    一个是它们在本质上是一种东西,只不过一个更通用,一个更垂直。

    蓝海的海峡

    未来成功的AI产品是什么样,大致形态已经比较清楚了,从智能音箱和Copilot这两个成功的AI产品上已经能看到足够的产品特征。

    未来科技 2024年6月5日
  • ChatGPT、Perplexity、Claude同时“罢工”,全网打工人都慌了

    美西时间午夜12点开始,陆续有用户发现自己的ChatGPT要么响应超时、要么没有对话框或提示流量过载,忽然无法正常工作了。

    因为发现AI用久了,导致现在“离了ChatGPT,大脑根本无法运转”。”

    等等,又不是只有一个聊天机器人,难道地球离了ChatGPT就不转了。

    大模型连崩原因猜想,谷歌躺赢流量激增6成

    GPT归位,人们的工作终于又恢复了秩序。

    未来科技 2024年6月5日
  • ChatGPT宕机8小时,谷歌Gemini搜索量激增60%

    ChatGPT一天宕机两次

    谷歌Gemini搜索量激增近60%

    ChatGPT在全球拥有约1.8亿活跃用户,已成为部分人群工作流程的关键部分。

    过去24小时内提交的关于OpenAI宕机的问题报告

    图片来源:Downdetector

    ChatGPT系统崩溃后,有网友在社交媒体X上发帖警告道:“ChatGPT最近发生的2.5小时全球中断,为我们所有依赖AI工具来支持业务的人敲响了警钟。

    未来科技 2024年6月5日
  • ChatGPT、Perplexity、Claude同时大崩溃,AI集体罢工让全网都慌了

    接着OpenAI也在官网更新了恢复服务公告,表示“我们经历了一次重大故障,影响了所有ChatGPT用户的所有计划。Generator调查显示,在ChatGPT首次故障后的四小时内,谷歌AI聊天机器人Gemini搜索量激增60%,达到327058次。

    而且研究团队表示,“Gemini”搜索量的增长与“ChatGPT故障”关键词的搜索趋势高度相关,显示出用户把Gemini视为ChatGPT的直接替代选项。

    未来科技 2024年6月5日
  • 深度对话苹果iPad团队:玻璃的传承与演变

    iPad最为原始的外观专利

    没错,这就是iPad最初被设想的样子:全面屏,圆角矩形,纤薄,就像一片掌心里的玻璃。

    2010年发布的初代iPad

    好在乔布斯的遗志,并未被iPad团队遗忘。

    初代iPad宣传片画面

    乔布斯赞同这一想法,于是快速将资源投入平板电脑项目,意欲打造一款与众不同的「上网本」,这就是iPad早年的产品定义。

    iPad进化的底色

    苹果发布会留下过很多「名场面」,初代iPad发布会的末尾就是一例。

    未来科技 2024年6月5日
  • 底层逻辑未通,影视业的AI革命正在褪色…

    GPT、Sora均为革命性产品,引发了舆论风暴,但它在上个月发布的“多模态语音对谈”Sky语音,却由于声音太像电影明星斯嘉丽·约翰逊,被正主强烈警告,被迫下架。

    华尔街日报也在唱衰,认为“AI工具创新步伐正在放缓,实用性有限,运行成本过高”:

    首先,互联网上已经没有更多额外的数据供人工智能模型收集、训练。

    03、

    如果说训练“数字人”、使用AI配音本质上瞄向的仍是影视行业固有的发展方向,那么还有另外一群人试图从根本上颠覆影视行业的生产逻辑和产品形态。

    但分歧点正在于此,电影公司希望通过使用AI技术来降低成本,但又不希望自己的内容被AI公司所窃取。

    未来科技 2024年6月5日
  • KAN会引起大模型的范式转变吗?

    “先变后加”代替“先加后变”的设计,使得KAN的每一个连接都相当于一个“小型网络”, 能实现更强的表达能力。

    KAN的主要贡献在于,在当前深度学习的背景下重新审视K氏表示定理,将上述创新网络泛化到任意宽度和深度,并以科学发现为目标进行了一系列实验,展示了其作为“AI+科学”基础模型的潜在作用。

    KAN与MLP的对照表:

    KAN使神经元之间的非线性转变更加细粒度和多样化。

    未来科技 2024年6月5日
  • 这个国家,也开始发芯片补贴了

    //mp.weixin.qq.com/s/tIHSNsqF6HRVe2mabgfp6Q
    [4]中国安防协会:欧盟批准430亿欧元芯片补贴计划:2030年产量占全球份额翻番.2023.4.19.https。//mp.weixin.qq.com/s/VnEjzKhmZbuBUFclzGFloA
    [6]潮电穿戴:印度半导体投资大跃进,一锤砸下1090亿,政府补贴一半.2024.3.5https。

    未来科技 2024年6月5日
  • 大模型的电力经济学:中国AI需要多少电力?

    这些报告研究对象(数字中心、智能数据中心、加密货币等)、研究市场(全球、中国与美国等)、研究周期(多数截至2030年)各不相同,但基本逻辑大同小异:先根据芯片等硬件的算力与功率,计算出数据中心的用电量,再根据算力增长的预期、芯片能效提升的预期,以及数据中心能效(PUE)提升的预期,来推测未来一段时间内智能数据中心的用电量增长情况。

    未来科技 2024年6月5日
  • 你正和20万人一起接受AI面试

    原本客户还担心候选人能否接受AI面试这件事,但在2020年以后,候选人进行AI面试的过程已经是完全自动化的,包括面试过程中AI面试官回答候选人的问题,AI面试官对候选人提问以及基于候选人的回答对候选人进行至多三个轮次的深度追问。

    以近屿智能与客户合作的校验周期至少3年来看,方小雷认为AI应用不太可能一下子爆发,包括近屿智能在内的中国AI应用企业或许要迎来一个把SaaS做起来的好机会。

    未来科技 2024年6月4日