AI 行业跟踪报告 (一):光铜共进 通讯带宽是 AI 重要迭代方向

命理风水师 243 2

AI 大模型对带宽提出更高要求 。算术强度(Arithemtic Intensity)代表模型计算过程中 ,从内存中读取的每个字节进行浮点计算的次数。以 TransformerDecoder 为基础的模型如 GPT,其算术强度显著低于 CNN 模型和以 TransformerEncoder 架构为基础的模型(如 BERT),对访存带宽提出了更高要求。

AI 行业跟踪报告 (一):光铜共进 通讯带宽是 AI 重要迭代方向 - 第 1 张图片 - 小家生活风水网

英伟达新架构通讯带宽再上台阶 。英伟达最新数据中心 GPU 架构 Blackwell ,相比上一代的 Hopper 架构 ,带宽在多个维度显著提升:1)HBM 迭代至 HBM3e(带宽 8TB/s),相比 H100 的 HBM3(带宽 3TB/s)实现翻倍以上提升;2)NVLink 带宽提升至 1.8TB/s,相比 Hopper 架构翻倍;3)支持 PCIe 6.0 ,带宽提升至 256GB/s,相比 Hopper(PCIe5.0 128GB/s)翻倍 。

AI 拉动芯片,降低系统损耗(LPO 相比可插拔光模块功耗下降约 50%)和成本(800G LPO 总成本下降约 8%);2)CPO 缩短光引擎和芯片之间距离 ,减小尺寸、降低功耗 、提高效率;3)硅光结合 CMOS 工艺超大规模、超高精度和光子技术超高速率、超低功耗(CPO/LPO 架构下)的优势等。

GB200 拓展 Scale up 边界,降低客户 TCO 水平,拉动铜连接需求。英伟达最新机架解决方案 GB200 性能大幅提升 ,相同 GPU 数量下,训练速度可达 H100 的 4 倍;GB200 NVL36 可实现万亿大模型推理,吞吐量达 H100 集群的 30 倍以上 。相比 GH200 ,GB200 的 CPU:GPU 配比由 1:1 降低至 1:2,客户 TCO(Total Cost of Ownership,总拥有成本)得以进一步降低。随着 GB200 在下游放量 ,背板连接器 、铜缆等核心零部件有望受益增长。

风险提示:AI 需求不及预期 、新技术迭代不及预期、份额不及预期等 。

文章内容免责声明

加微信免费领取数字能量手机号旺运电子书

公众号

专家微信

1、本网站名称:好风水网 2 、本站永久网址:https://www.hfs666.com 3、本网站的文章部分内容可能来源于网络 ,仅供大家学习与参考,如有侵权,请联系站长进行删除处理。 4、本站一切资源不代表本站立场 ,并不代表本站赞同其观点和对其真实性负责。 5 、本站一律禁止以任何方式发布或转载任何违法的相关信息,访客发现请向站长举报 6、本站资源大多存储在云盘,如发现链接失效 ,请联系我们我们会第一时间更新 。

发布评论 2条评论)

评论列表

2024-07-10 19:27:46

内容引人入胜,令人回味无穷。

2024-07-14 16:33:01

内容丰富,引人入胜,值得一读再读。