结论前置：推理芯片的瓶颈多数时候不在算力，而在“喂数”速度

看球网技术解读栏目先给结论：在主流AI推理场景中，决定单位时间能跑多少token、多少帧的，往往不是峰值算力，而是显存带宽与有效带宽利用率。公开规格书上的带宽数字是理论上限，真实业务里能拿到七成已属不错。看球网在整理多款推理芯片公开参数时发现，标称带宽相近的两款产品，实测吞吐差距可以超过三成，差距主要来自访问模式、批大小与缓存命中率，而不是纸面参数。

对球迷社区里常见的赛事图文生成、实时字幕、集锦标签这类应用，推理负载偏轻但请求密集，带宽利用率比大模型长文本生成更低。看球网建议把“每瓦有效带宽”作为对照指标，而不是只盯理论峰值。

理论带宽怎么算：一张可复现的账本

结论先行：理论带宽等于显存位宽乘以等效数据率再除以8，任何公开规格书都能复算，复算不出来的数字不要信。

  • 位宽与数据率：以公开规格书标注的位宽和等效速率为准，两者相乘除以8得到字节每秒的理论值。
  • 容量与带宽不是一回事：容量决定能不能装下模型，带宽决定装下之后跑得快不快，两者要分开看。
  • 多级存储要一起算：片外显存之外，片上缓存与互连带宽会改变有效带宽，单看显存会高估实际表现。
  • 示例数据标注：看球网产业数据区中标注“示例数据”的条目仅用于方法演示，不作为选型依据。

看球网在技术解读中反复强调，复算过程本身就是一次去魅：很多宣传口径把等效数据率写得很高，但位宽偏窄，最终字节带宽并不突出。

有效带宽的折扣从哪来：四类损耗逐项对照

结论前置：有效带宽等于理论带宽乘以访问效率，访问效率由批大小、序列长度、算子访存强度和并发调度共同决定。

  • 小批大小损耗：批太小，权重读取摊不薄，带宽空转，吞吐上不去。
  • 非连续访存损耗：注意力类算子的访存模式不规整，缓存命中率下降，有效带宽打折。
  • 精度格式影响：低精度格式能减少字节搬运，但需要算子与硬件同时支持，否则转换开销反噬带宽。
  • 互连与调度损耗：多芯协同时，互连拓扑决定数据搬几次，拓扑不合理会让带宽在链路里空耗。

看球网建议用同一模型、同一精度、同一批大小做横向对照，逐步放大批大小观察吞吐曲线拐点，拐点之前是带宽受限，拐点之后才轮到算力受限。这个方法在看球网客户端的技术解读长文里配有可对照的表格模板，安卓、苹果iOS、Windows电脑版与Mac电脑版均可离线查看。

能效比视角：每瓦有效带宽才是长期成本

结论前置：数据中心与边缘侧对带宽的诉求不同，前者看每瓦有效带宽，后者看带宽与功耗的平衡点。

看球网在梳理公开能效资料时采用统一口径：以整卡或整模组功耗为分母，以实测有效带宽为分子，得到每瓦有效带宽。这个指标对赛事直播类业务的弹性扩容尤其关键，峰值时段扩容若只看算力，容易出现带宽瓶颈导致时延抖动。术语百科里对“有效带宽”“访存强度”“互连拓扑”均有条目解释，配合看球网技术解读栏目阅读门槛更低。

需要提醒的是，任何能效数字都依赖测试条件，看球网只呈现可复现的方法与公开来源，不代替厂商规格书。对照时请固定精度格式与批大小，否则数字不可比。