一台GPU用了三年，为什么租金反而更贵了？

这并不是某代芯片的“传奇故事”。过去，人们曾期待GPU算力最终会像传统云计算资源一样，随着供应增加和硬件迭代逐渐标准化、商品化：性能越来越高，价格越来越低，不同供应商之间的差异也越来越小。 但AI算力并没有完全沿着这条路径发展。一张GPU能够提供多少价值，越来越取决于它被放进怎样的系统、如何与其他GPU协同，以及这些昂贵设备能否持续被利用。芯片性能仍然重要，但它已经很难单独解释一套AI基础设施能够交付多少算力。 前沿大模型正在改变的，并不是算力如何计价，而是算力在什么层级上被商品化。在最上层，AI服务正在把模型输出逐渐标准化为Token，并按Token计费。 从这个意义上看，客户最终购买的计算结果，已经具备越来越明显的商品属性。但在这些Token背后，生产它们的算力系统却远没有实现同样程度的标准化。 原因之一是，前沿AI任务已经很难由一张GPU独立完成。模型参数、计算任务和数据需要被拆分到多张GPU甚至多台服务器上，一次训练或推理能否顺利向前，不再只取决于单张芯片算得有多快，还取决于这些GPU之间能否快速交换数据。 如果GPU之间通信效率不足，芯片就可能花更多时间等待数据；网络拓扑、内存、存储以及软件组织方式的差异，也都会影响最终能够发挥出的算力。新增一张GPU，因此并不意味着系统就能获得一张GPU标称性能对应的新增产出。 也正是在这种背景下，超节点开始成为AI Infra的重要形态。所谓超节点，并不是简单增加GPU数量，而是通过高速互联，把多颗GPU组织成一个紧密协同的计算单元，尽量降低GPU之间交换数据的成本，让它们像一台更大的机器一样工作。 Balaban以英伟达GB300 NVL72为例，一个机架内的72颗GPU通过NVLink高速互联；多个机架进一步扩展时，则通过InfiniBand或高速以太网连接。Lambda建设的大型GPU集群还会采用尽量减少网络阻塞的架构，让不同GPU之间获得足够的通信带宽。 这种系统能力首先服务于大规模训练，但前沿推理也越来越依赖多GPU协同。Balaban提到，小型、经过压缩的模型可以放进单张GPU；更大的模型则可能需要跨多颗GPU、服务器甚至机架运行。 这也是AI算力系统难以迅速变成标准商品的关键：芯片本身可以标准化，但芯片如何被组织起来，以及最终能够发挥多少性能，仍然高度依赖整套系统。 Balaban称，在一个GPU小时的成本中，占比最大的是设备折旧。GPU、服务器和网络设备采购后会使用多年，最初的投入需要被分摊到后续每一个实际使用小时中。 这背后是一门典型的重资产生意。按照Balaban的估算，一座千兆瓦级AI工厂中，发电设施需要约20亿至30亿美元，数据中心本体约100亿至150亿美元，而服务器和计算设备的投入可达350亿至450亿美元，其中GPU又占据最大的一部分。 因此，判断一张GPU的价值，不能只看它是不是最新一代，更要看它在整个使用周期里还能持续承担多少计算任务、产生多少收入。 这也是Balaban判断旧一代GPU仍有较长经济寿命的原因：只要设备仍然能够承担计算任务，并且有持续需求，它就不会因为新一代芯片上市而立刻失去经济价值。 Balaban还提到，不少公司采用约六年的会计折旧周期，但账面折旧年限不等于设备实际能使用多久，更不等于它还能产生收入多久。只要H100仍能承担计算任务，又有人愿意租用，它的经济寿命就可能比市场早期预想得更长。 换句话说，GPU存在至少三套不同的“时间尺度”计量系统：产品迭代决定它是不是最新一代，会计折旧决定账面成本如何分摊，而经济寿命决定它究竟还能产生多久的收入。 这也是AI算力系统没有迅速商品化的另一个原因。客户真正需要的，不只是GPU，还包括高速网络、存储、CPU服务器，以及把这些设备组织成集群的软件。训练和推理任务能否运行，取决于整套系统是否能够共同交付计算能力。 这种系统复杂性，也解释了为什么Neocloud（AI算力云）不能被简单理解为GPU出租商。Balaban认为，GPU算力并不是一种简单的标准商品，它背后是一项纵向整合的服务，范围从土地、电力许可、数据中心建设，一直延伸到高性能计算设计、虚拟化和云软件。 当算力变成这样一门重资产、强运营的生意，决定成本的下一个问题也随之出现：这些昂贵设备，到底有多少时间真正处于工作状态？ Balaban给出了一条从能源到Token的链条：最开头是阳光、天然气等能源，它们经过发电设施转化为电力；电力进入数据中心后，一部分用于驱动服务器运行，一部分消耗在制冷、配电等基础设施中；GPU、网络和存储再共同完成计算，最终由模型生成Token并交付给用户。 沿着这条链路，同样一座数据中心、同样数量的GPU，并不意味着同样的Token产出。电力利用效率、GPU之间的通信效率、模型和软件优化，都会影响能源和设备最终能够转化成多少计算结果。 GPU、服务器和网络设备不会因为没有任务就停止折旧。如果一张GPU只有一半时间真正用于计算，那么它的设备成本就只能由更少的实际使用小时来承担。Balaban举例称，在50%的利用率下，每个实际GPU小时需要承担的折旧成本相当于翻倍。 但到了大型集群，这已经不是找到一张空闲GPU那么简单。Balaban介绍，一个万卡级GPU集群除了GPU本身，还包括负责组织任务的CPU服务器、存储系统，以及承担不同功能的多套网络。 当客户申请其中一部分算力时，供应商实际上需要同时为这项任务划分计算、存储和网络资源，并保证这些资源能够共同工作。 这也是调度和集群软件的价值。它们决定一批昂贵的物理设备能否被拆分、组合，再持续交付给不同客户。如果没有这层软件能力，一座拥有大量GPU的数据中心，也很难真正把这些设备变成可以按需使用的算力。 当AI Infra进入超节点和大型集群时代，买下GPU只是投入的开始。真正决定算力成本的，是这些昂贵设备能否长期保持运转，并在网络、存储和软件的配合下持续完成训练和推理任务。