模型长什么样,机房就得长什么样Oct 18, 2026prefill 拼算力,decode 拼内存带宽,context 每长一倍,一张卡能同时服务的人就少一半。模型怎么服务用户,决定了机房要堆多少内存和带宽。EN →硬件数据中心AItheme:watts-to-tokenstype:research推理KV cacheHBM