AI 数据中心的电力账单
训练一个 GPT-4 量级的模型消耗多少电?估算值在 50 GWh 左右,大约相当于一座小城市一个月的用电量。这个数字在两年前还能让人惊叹一下,现在已经是行业基本盘。
更值得关注的变化是推理侧。训练是一次性的成本,推理是持续的——每天数亿次请求,每次都要经过 GPU。随着 AI 服务的普及和使用量增长,推理端的总用电量正在超过训练端成为更大的变量。
电力,从一个”数据中心运营细节”变成了 AI 行业的战略资源。
电力需求的量级
一台 H100 的 TDP(热设计功耗)是 700W。一个 8 卡 DGX H100 节点的总功耗约 10.2kW。一个 10,000 块 H100 的集群,理论满载功耗约 8.75MW。
8.75MW,还不算散热制冷(PUE 通常在 1.2~1.5 之间,制冷用电约占 IT 设备的 20%~50%),加上 UPS 损耗和网络基础设施,实际总用电接近 13~15MW。
这是一个什么概念?一个中等规模的变电站供电能力大约在 20~50MW,一个 15MW 的 AI 集群差不多要独占一个变电站的一半。
微软、谷歌、AWS、Meta 的 AI 集群规模都在 10 万块 GPU 以上,算下来每个大厂的 AI 基础设施用电量已经到了百兆瓦级别。
电网容量成了稀缺资源
数据中心选址的传统逻辑是:地价低、劳动力成本低、网络基础设施好、政策优惠。
这个逻辑在 2024-2025 年发生了结构性的变化:电网容量变成了首要约束。
爱荷华州、弗吉尼亚州、俄勒冈州这些传统数据中心集中地,已经出现了”电网容量排队”现象——公用事业公司手里的大功率用户申请积压,有些项目需要等 3-5 年才能拿到足够的接入容量。
微软在 2023 年宣布计划在 2030 年实现 100% 可再生能源,同年又签下了与 Constellation Energy 的核电购电协议——三哩岛核电站的重启,部分原因就是微软需要大量的稳定低碳电力,而风能和太阳能的间歇性在这个量级上会成为运营问题。谷歌在 2024 年签署了一份小型模块化反应堆(SMR)的供电协议,亚马逊收购了一座核电站旁边的数据中心园区。
核电的稳定输出、零碳排放、高功率密度,让它在 AI 数据中心的能源组合里突然变得有吸引力——这在十年前是反直觉的,那时候核电因为福岛事故后的舆论压力和经济性问题处于退出状态。
制冷:物理问题正在逼近极限
每瓦的热量,最终都要排出机房。
传统数据中心用冷气机(CRAC)或冷通道封闭的方式散热,这套方案在服务器功率密度不高时可以工作。但 GPU 服务器的功率密度远超传统服务器:一个标准 42U 机柜,满载 H100 DGX 节点的情况下,功率密度可以到 60-100kW/机柜。传统风冷的极限大约在 15-25kW/机柜,超过这个数字,风冷就开始失效。
液冷成了不得不做的选择。液冷有两种主要路线:
直接液冷(Direct Liquid Cooling / DLC):把冷却液管道直接接到 CPU/GPU 的背面散热板,带走热量后通过热交换器排出。效率高,但改造现有机架成本高,且对泄漏的容忍度是零——GPU 漏冷却液等于报废。
浸没式冷却(Immersion Cooling):把整块服务器板卡直接放进氟化液里,液体传导热量。散热效率极高(PUE 可以接近 1.05),对现有机柜形态改动大,且氟化液本身成本不低、有一定环保争议(部分氟化液含 PFAS)。
英伟达 GB200 的 NVL72 机柜(72 块 Blackwell GPU 的液冷机架)原生设计就是液冷,TDP 约 120kW/机柜,风冷根本不在考虑范围内。这意味着部署 GB200 规模集群的数据中心,必须同时完成液冷基础设施的改造——这是一笔额外的建设周期和资本支出。
能效的工程优化空间
从软件和系统侧,能效是可以主动优化的,而不只是被动承受。
算力利用率是首要指标。GPU 空转也会消耗静态功耗(约 TDP 的 30%~50%),在线推理服务因为流量有峰谷,低谷时段的空转浪费是显著的。自动缩容(下线 GPU 实例)和混合部署(用离线批处理任务填充低谷算力)是常见的应对策略,但都需要调度层的精细控制。
量化的能效收益不只体现在推理速度上。FP8 的功耗比 BF16 低,不只因为计算量减少,还因为内存带宽需求下降,而 HBM 的内存访问也是耗能的。对 memory-bound 的推理工作负载,量化降低的内存带宽压力,有时比减少计算量带来的能效提升更直接。
功耗状态管理。GPU 支持不同的功耗状态(power state),在低负载时可以主动降频降压。NVIDIA 的 MIG(Multi-Instance GPU)可以把一块 GPU 切分成多个独立实例,每个实例有独立的功耗预算,可以避免小任务占用整块 GPU 的全部功耗。这些机制在高密度部署场景里效益显著,但需要框架层的支持。
碳排放账单和 ESG 压力
AI 公司的碳排放报告,正在变成一个政治敏感话题。
谷歌在 2024 年发布的可持续发展报告中,首次承认温室气体排放比 2019 年增加了 48%,原因直接指向数据中心用电增加。这打破了谷歌此前”100% 可再生能源”承诺的叙事——用了可再生能源电力,并不等于实际排放为零,因为电网是共享的,可再生能源的时空分布不匹配意味着碳排放会通过电网结算被间接抵消。
这个问题在行业里没有简单解法。24/7 碳自由能源(全天候不使用任何碳排放来源的电力)是比”年度 100% 可再生”更严格的目标,谷歌 2023 年的进度报告显示达成率约 64%。
欧盟的数据中心能效指令(EUDC)和企业可持续发展报告指令(CSRD)正在把这些数字从自愿披露变成合规要求。对在欧洲有业务的 AI 公司,PUE、用水强度(WUE)、可再生能源比例将成为监管审查对象。
这对基础设施工程的实际影响
能源问题不只是运营和财务层面的议题,它正在向下传递,影响基础设施工程的决策:
选型。相同算力下,功耗更低的芯片开始获得额外的权重。AMD MI300X 的能效比在某些工作负载下优于 H100,这在采购决策里成了有分量的考量,而不是可以忽略的脚注。
拓扑。数据中心的电力分配拓扑(PDU 容量、配电冗余方案)正在成为影响 GPU 集群规模扩展上限的物理约束,不亚于网络带宽和存储 IOPS。
调度。地理分散部署的 AI 集群,可以根据各地的实时电价和碳强度做跨区域的工作负载迁移——这在计算任务不是延迟敏感的情况下(比如批量推理、模型训练)是可行的能效优化策略。一些大厂已经在实验”跟着便宜电走”的调度策略。
AI 的能源账单,是这个行业规模化过程中最不容易被忽视的物理约束。
算力可以通过更好的芯片和更高的利用率来提升效率,但电力最终来自物理电网,散热最终要排到物理环境里。这些约束不会因为模型能力的进步而消失,只会随着规模的扩大变得更紧迫。
对做 AI 基础设施的工程师来说,能效不再是运营团队的事,是系统设计里需要显式考量的维度。