租一张 GPU,电费其实只是零头
一张 GPU 跑一小时,电费大概一毛到三毛多美元,租金要两美元往上。所以算力生意的账都在合同里,价格锁多久,卡闲下来谁兜底。最后用 Abilene 把整个系列串一遍。
一张 GPU 跑一小时,电费大概一毛到三毛多美元,租金要两美元往上。所以算力生意的账都在合同里,价格锁多久,卡闲下来谁兜底。最后用 Abilene 把整个系列串一遍。
风冷输在物理上,同样带走 100 kW 的热,要的空气体积大约是水的 3500 倍。机房费不费水,要看哪个环路是开着的,闭环的机柜后面照样可能接着一座天天蒸发的冷却塔。
NVLink 管机柜里面,InfiniBand 和以太网管机柜之间,再往外是园区之间的光纤。训练跑多快,看最慢的那张卡和最挤的那根线,所以网络拓扑得跟楼板图一起画。
断电之后,先是电容顶几毫秒,再是电池,最后柴油发电机接手。越靠前的一棒反应越快,存的能量越少。真出事多半是在交接那一下,比如所有电源共用的那一根母线。
从 345 kV 的高压线降到芯片上的 1 V,电压一路降,电流一路涨,发热跟着电流的平方涨。800 V 直流进机柜,其实就是把输电网高压低流的老办法搬进机房。
并网要排长队,按 SemiAnalysis 的估算,排队名单里大部分还没有实际的地块撑着。电费在 GPU 的账里只占个零头,所以大家宁可烧效率低的燃气机组,也要早一个月开机。
prefill 拼算力,decode 拼内存带宽,context 每长一倍,一张卡能同时服务的人就少一半。模型怎么服务用户,决定了机房要堆多少内存和带宽。
一个 token 从机房里出来,背后有三根管子一直在跑。电进来,热出去,数据在几万张 GPU 之间来回传。机房能干多少活,看三根里最细的那根,现在最细的是电。
从赵梓森用酒精喷灯拉出第一根光纤,到光模块全球前十占七席,中国是先做光纤光缆、再做设备、再做模块,如今在攻最上游的光电芯片。模块这块做起来了,最上游的高端芯片还没做下来。
可插拔、LPO、NPO、CPO、OIO,五种封装方案其实是同一道选址题,快递站建在离写字楼多近。光模块的大脑 ODSP 是功耗大户,也是这场仗的争议中心。
Kevin 把一百多年通信史压成三次跃迁,铜到光的胜负是物理性质写定的,之后五十年光的边界一直往芯片端推,推到今天的机柜边上。
通信界也有自己的摩尔定律,AI 的带宽需求比它还快。铜线的损耗跟着频率往上飙,光纤的损耗和速率没关系但要交一笔固定的转换费,两条线一交叉,光模块要占的就是交叉点右边那段。
你家墙上一闪一闪的光猫就是一只低速光模块。从光猫到数据中心里插满面板的 800G 模块,拆开看是同一条对称的信号链。
光既是造芯片的刻刀(光刻),也是造屏幕的画笔(量子点、AR 光波导)——人类在硅片方寸之间的驯光记。
内存和显存本是同根生,却走上了两条相反的路——一个死磕延迟,一个死磕带宽,到 HBM 干脆把存储架到了 GPU 头顶。
机械硬盘用磁存、SSD 用电子存、RAID 用多块盘换可靠——以及那个吓人的「RAID 5 重建失败率 99%」到底是真是假。
一个电路怎么记住一件事情?从两个非门互相提醒,到寄存器,再到决定游戏性能的缓存,底层其实是同一个朴素的问题。
从爱迪生那根烧红的灯丝,到能指挥电子的开关——电子管、PN 结、晶体管,一部人类驯电简史。
存算一体、光互连、异质集成、新型存储介质。当 HBM 也堆不动的时候,计算架构会怎么演化。
一个被 99% 的人忽视的事实:训练不是瓶颈,推理才是。推理需要内存,海量内存。而这个需求正在创造一个持续十年以上的半导体超级周期。
© Xingfan Xia 2024 - 2026 · CC BY-NC 4.0