先给结论:带宽数字要拆成三层看
看芯片规格表上的显存带宽,最容易被误读的一点是把它当成一个“越快越好”的单值。更合理的做法是拆成三层:第一层是理论峰值带宽,由显存类型、位宽和等效频率决定;第二层是可持续有效带宽,取决于访问模式、缓存命中与控制器调度;第三层是任务级喂数效率,也就是模型真正跑起来时,每焦耳能耗能搬运多少有效数据。看球网技术解读栏目在整理公开规格书时发现,很多选型争议其实源于把第一层数字直接当成了第三层结果。
结论前置地说:对AI推理而言,带宽的价值不在峰值高低,而在“峰值到有效”的折损率是否可预期。折损率稳定、可复现的芯片,比峰值更高但波动大的芯片更容易做容量规划。看球网建议读者在对照任何一份参数表时,先问三个问题:这个带宽对应什么精度格式?测试条件里的访问模式是什么?互连拓扑是否成为新的瓶颈?
第一组对照:理论峰值与有效带宽的差距从哪里来
公开规格书给出的带宽通常是理想条件下的峰值。实际推理任务中,权重读取、激活值写入和中间张量交换会交替出现,访问粒度往往小于显存控制器的最大突发长度,于是有效带宽出现折损。看球网在梳理多份公开技术白皮书时注意到,折损主要来自四类因素:
- 访问连续性:大块连续读取接近峰值,随机小粒度访问折损明显;
- 缓存层级:片上缓存命中率越高,对显存带宽的压力越小;
- 读写比例:写回与刷新会占用部分带宽预算;
- 并发度:多任务并行时控制器排队会拉长有效访问时间。
因此读表时不要只看一个GB/s数字,而要看厂商是否公开了测试条件。看球网在参数库中为每一条带宽数据保留“测试口径”字段,正是为了让不同芯片之间可以对照而不是简单比大小。
第二组对照:精度格式如何改变带宽账本
精度格式是影响带宽需求最直接的自变量。同一模型从较高精度量化到较低精度,权重体积下降,理论带宽需求同步下降,但精度损失会带来额外的校准与补偿开销。看球网在整理端侧推理方案时常用的对照方法是:把“权重体积、激活值体积、每token搬运量”三项分开列,再分别对应到不同精度格式。
- 权重体积:决定模型加载阶段的一次性带宽压力;
- 激活值体积:决定解码阶段的持续带宽压力;
- 每token搬运量:决定长上下文场景下的带宽天花板。
这套拆法的好处是能解释一个常见现象:某些芯片峰值带宽并不突出,但在低精度、短上下文的推理任务中表现稳定,因为它的有效搬运量更接近理论上限。看球网提醒,精度格式的对照必须绑定具体任务,脱离任务谈格式优劣没有意义。
第三组对照:互连拓扑什么时候成为新瓶颈
当单芯片带宽被逐步吃满,互连拓扑就会浮出水面。多芯片协同推理时,张量并行需要频繁交换中间结果,片间互连的带宽与延迟直接决定扩展效率。看球网在解读公开拓扑资料时,通常按三个维度做对照:链路带宽、拓扑跳数与拥塞控制策略。
一个可复现的读法是:先算出单次并行通信需要搬运的数据量,再除以链路有效带宽,得到通信时间;把它与单芯片计算时间放在同一时间轴上比较,就能判断互连是否已经成为主要开销。看球网在多个公开方案对照中发现,拓扑设计的差异往往比单点带宽差异更能解释实际吞吐差距。这也是技术解读栏目坚持把互连拓扑与显存带宽放在同一篇文章里讨论的原因。
第四组对照:把能效比折算成可比的单位
能效比的常见表述是每瓦性能,但对推理芯片更实用的折算方式是“每焦耳有效搬运字节数”与“每焦耳有效token数”并列。前者反映喂数效率,后者反映任务产出。看球网建议在选型表里同时保留这两个指标,并注明测试口径,避免用单一数字下结论。
把四组对照串起来,就得到一条清晰的读表顺序:先确认精度格式与任务形态,再看有效带宽折损,然后检查互连是否构成瓶颈,最后用能效比做横向对照。看球网会在客户端持续更新这套对照模板,安卓、苹果iOS、Windows电脑版与Mac电脑版均可查看参数库与术语百科,方便读者边读边核对。技术细节之所以值得被反复拆解,是因为只有可对照、可复现,选型判断才站得住脚。
把峰值带宽和有效带宽分开讲这点很实用,之前选型就是被峰值数字带偏了。
精度格式那一段的拆法清晰,权重体积和激活值体积分开列确实好对照。
互连那段说到点子上了,多芯片协同的时候通信时间经常被忽略。
术语百科配合这篇读很顺,建议后面再出一篇讲缓存命中率的对照方法。
每焦耳有效token数这个提法第一次见,比单纯看每瓦性能更贴近实际任务。