Main memory and video memory came from the same place and then split — one obsesses over latency, the other over bandwidth, and HBM ends up bolting memory onto the GPU's roof.

内存和显存本是同根生，却走上了两条相反的路——一个死磕延迟，一个死磕带宽，到 HBM 干脆把存储架到了 GPU 头顶。

一个被 99% 的人忽视的事实：训练不是瓶颈，推理才是。推理需要内存，海量内存。而这个需求正在创造一个持续十年以上的半导体超级周期。

HBM isn't faster DRAM. It's DRAM rotated 90 degrees — stacked, drilled through with thousands of vertical wires, and bolted next to the GPU on a silicon interposer. That manufacturing nightmare is exactly why three memory makers just crossed a trillion dollars.

一张 H100 超过一半的成本是 HBM。它凭什么这么贵？TSV、硅中介层、垂直堆叠——以及为什么只有 SK 海力士能赚钱。

处理器的速度是指数增长的，内存带宽是线性增长的。这个裂缝是过去二十年计算架构最根本的瓶颈——而你每天都在感受它。