大模型新时代，小公司靠边站？

　　摩根士丹利认为，英伟达是未来算力呈指数级增长的关键 ，谷歌 、Meta
、亚马逊和微软将是这一过程的更大受益者
，小公司虽然可能在大模型的世界被边缘化，但成本更低的小模型将为它们创造新的机会 。

　　Meta 旗下第三代大模型 Llama 3 终于在本周正式亮相：更大参数规模超 4000 亿 ，训练 token 超 15 万亿
，对比 GPT-3.5 多种人类评估测评胜率超六成，官方号称“地表最强开源模型 ”
。

　　在各大科技巨头的“内卷
”中 ，大模型终于来到了一个关键的转折点。摩根士丹利指出
，世界正在进入一个由硬件和软件共同推动的大模型能力快速增长的新时代，大模型在创造力、战略思维和处理复杂多维任务方面的能力将显著提升 。

　　报告强调 ，未来大模型的训练将需要前所未有的算力，这将导致开发成本显著增加
。摩根士丹利 Stephen C Byrd 分析师团队在本周公布的报告预计
，训练下一代大模型所需的超级计算机成本之高企，即使对于科技巨头来说也是一个巨大的挑战 ，更别提小公司了。

　　报告进一步指出
，除了高昂的资本支出外，芯片电力供应和人工智能技术的壁垒也在增加 。这些因素共同构成了进入大模型领域的重大障碍 ，可能会使得小公司难以与强大的巨头企业竞争
。

　　因此
，摩根士丹利对谷歌 、Meta
、亚马逊和微软等大型科技公司给予了增持评级，这些公司凭借其在技术、资本和市场上的优势 ，有望在大模型的发展中占据领先地位。与此同时
，小公司虽然可能在大模型的世界被边缘化，但成本更低的小模型将为它们创造新的机会 。

　　未来算力指数级增长 ，英伟达是关键？

　　摩根士丹利指出
，在不久的将来，开发大模型所需的算力将实现指数级的增长 ，这一增长与芯片技术的进步紧密相关，英伟达“史上最强芯片”Blackwel 是推动算力增长的关键技术之一。

　　以 OpenAI 训练 GPT 模型为例
。

　　摩根士丹利指出
，目前训练 GPT- 4 需要大约 100 天的时间，使用 2.5 万个英伟达 A100 GPU ，处理 13 万亿个 token
，并且涉及大约 1.76 万亿个参数。

　　这些 A100 的总算力（以 FP8 teraFLOPs 衡量）大约是 1600 万 。teraFLOPs 是衡量浮点运算性能的单位，表示每秒可以执行多少万亿次浮点运算
。GPT- 4 训练所需的总浮点运算次数约为 137 万亿次。

　　对于即将亮相的 GPT-5 ，摩根士丹利预计
，该模型的训练需要部署 20 万 -30 万个 H100 GPU，耗时 130-200 天 。

　　超级计算机将使指数级的增长预期更加容易实现
。摩根士丹利模型显示，本十年晚些时候超级计算机为开发大模型提供的算力比当前水平高 1000 倍以上。

　　使用 Blackwell 的超级计算机 ，只需要 150-200 天的训练时间
，就能开发出一个全新的大模型，与当前大模型（如 GPT-4）相比 ，其提供的算力，比当前模型所需高出 1400-1900 倍 。 

　　报告还提到
，未来 GPT- 6 所需的年度算力，将占英伟达芯片年销售额的相当大的百分比
。预计使用 B100 或 H100 GPU 的 100 兆瓦数据中心的成本可能为 15 亿美元。

　　摩根士丹利将英伟达视为算力增长的关键驱动力 。

　　根据预测 ，从 2024 年到 2026 年英伟达算力将以 70% 的复合年增长率增长
。这个增长率是基于 SXM（可能是 NVIDIA 的某个产品或服务的代号）和 FP8 Tensor Core（一种性能指标）来计算的。

　　大模型时代 ，科技巨头是更大受益者？

　　然而
，开发超强大模型及其训练所需的超级计算机涉及到一系列复杂的挑战，包括资本投入 、芯片供应
、电力需求和软件开发能力 。这些因素构成了进入这一领域的主要壁垒 ，将使那些资本雄厚、技术领先的科技巨头获得更多机会。

　　资本投入方面
，摩根士丹利将谷歌 、Meta、亚马逊和微软在 2024 年的数据中心资本支出进行了比较，对象是一系列不同规模的超级计算机 ，其中 1 吉瓦的超级计算机设施的估算成本约为 300 亿美元
，而更大规模的超级计算机的成本可能高达 1000 亿美元
。

　　摩根士丹利预计，这四家美国超大规模计算公司在 2024 年和 2025 年的数据中心资本支出将分别达到约 1550 亿美元和超过 1750 亿美元。这些巨额数字将使小企业望而却步 。

　　该机构还认为谷歌
、Meta、亚马逊和微软将是算力增长的直接受益者
，给予四家公司增持评级
。

　　小公司的机会在哪里？

　　尽管小公司可能在更加复杂的大模型的开发中被边缘化，但小模型的发展将为它们创造新的机会。

　　摩根士丹利表示 ，小模型的开发成本较低
，未来可能在特定的行业领域中实现显著的好处，并推动通用人工智能技术的快速普及 。

我们最新的通用人工智能模型包括一个可以计算训练小模型相关数据中心成本的工具 ，我们认为这是评估特定领域小模型可能扩散的回报率（ROIC）的一个有益起点
。

我们认为小模型成本的下降和能力的提高
，加强了我们对通用人工智能技术在许多领域采用的评估。

　　软件加持下，未来的大模型能做什么？

　　值得注意的是 ，除了芯片等硬件方面的进步之外
，软件架构的创新也将在推动大模型能力提升方面发挥关键作用，特别是 Tree of Thoughts 架构 。

　　该架构由谷歌 DeepMind 和普林斯顿大学的研究人员在 2023 年 12 月提出 ，设计灵感来源于人类意识的工作方式
，特别是所谓的“系统 2 ”思维
。“系统 2
”是一种长期的 、高度深思熟虑的认知过程，与快速
、无意识的“系统 1”思维相对 ，后者更类似于当前大模型的工作方式。

　　这一转变将使大模型能够以一种更类似于人类思考过程的方式来工作，突出了 AI 更强的创造力、战略思维和复杂 、多维任务的能力 。

　　计算成本大幅下降

　　摩根士丹利的专有数据中心模型预测 ，大模型算力的快速上升
，意味着计算成本将快速降低
。从单一芯片代的进化（从英伟达 Hopper 到 Blackwell）来看，计算成本下降了大约 50%。

　　OpenAI 首席执行官 Sam Altman 此前强调了计算成本下降的重要性，并将其视为未来的关键资源 ，他认为算力可能成为世界上最宝贵的商品
，重要性堪比货币 。

　　此外，报告预测 ，将建造少数几台非常大的超级计算机
，最有可能建在现有的核电站附近。

　　在美国，摩根士丹利预计宾夕法尼亚州和伊利诺伊州是开发超级计算机的更佳地点 ，因为这些地区有多个核电站，能够支持多千兆瓦的超级计算机的能源需求
。

加微信免费领取数字能量手机号旺运电子书

  

    
公众号

    
专家微信

  



1
、本网站名称：好风水网
2、本站永久网址：https://www.hfs666.com
3	、本网站的文章部分内容可能来源于网络
，仅供大家学习与参考，如有侵权	，请联系站长进行删除处理。
4
、本站一切资源不代表本站立场
，并不代表本站赞同其观点和对其真实性负责	。
5、本站一律禁止以任何方式发布或转载任何违法的相关信息，访客发现请向站长举报
6	、本站资源大多存储在云盘	，如发现链接失效
，请联系我们我们会第一时间更新
。