极客公园/作者:宛辰
2024 是大模型供给侧出清的一年？
伊隆·马斯克：我还没亮底牌，赢家怎么就能定了呢？
刚刚，马斯克的 xai 宣布了今年最大的一笔风险投资，以超过 240 亿美元估值获得 60 亿美元 b 轮融资。至此，硅谷大模型第一梯队的玩家再多一位，形成包括 openai、谷歌、anthropic 和 xai 的四巨头。
融到 60 亿美金，就意味着能做出比肩 openai 的大模型吗？
因为他是马斯克。能吸引到最优秀的 ai 人才，能搞定大算力和大笔融资做 scaling law（缩放定律，被视为大模型的秘诀），除了他，你很难想到还有第二个人。况且，背靠自动驾驶这个被视为大模型最大的应用场景、x.com toc 流量入口，以及作为曾经的 openai 联合创始人身份，马斯克的入场，势必冲击大模型的制高点。
01
马斯克：钱和卡，我搞得定
2023 年 2 月，微软向 openai 投资了 100 亿美元，你或许觉得这笔钱应该能花好一阵子。
但在今天，100 亿美金几乎才是 2024 年做大模型的起平线。撇开现金流充足的谷歌，openai、anthropic 和 xai 分别获得了约 130 亿美元、70 亿美元、60 亿美元融资额，来「卷」新一代大模型。
这主要是由于做大模型所需要的算力一再扩张，尤其是随着多模态融合成为新的 agi 大模型路线。如果说去年做大模型的算力门槛是 1 万张英伟达 h100 的算力集群，那么，今年这个数字变成了至少 10 万张 h100，这是马斯克筹集 60 亿美元资金的主要用途。
据 the information 采访的一位投资者，马斯克在最近与潜在和现有 xai 投资者的通话中表示，公司将把大部分资金用于租用 ai 芯片，并帮助其在 2025 年下半年达到 10 万个 gpu，以便改进 grok 背后的模型。
这位人士说，马斯克暗示，他是仅有的几位能筹集到足够资金与领先的人工智能公司竞争的高管之一。
上个月，马斯克在 x.com 上的现场音频聊天中表示，xai 将需要 10 万个 nvidia h100 gpu 来训练 grok 3.0。他表示，该公司目前正在大约 20,000 个 h100 芯片上训练 grok 2.0。
英伟达没有公布过其芯片的成本，但研究公司 semianalysis 的首席分析师 dylan patel 表示，租用 10 万台 h100 每年可能花费约 17 亿美元；即将推出的被称为 gb200 的 nvidia ai 芯片可能比前代产品贵 50%。
能不能「借」到钱买算力是一方面，有了钱能不能买到算力又是另一方面。当前，英伟达最高端的 gpu 系列仍旧供不应求，云厂商能用来训练大模型的算力集群有限。
马斯克将目光锁定在了三大云厂商之外的另一家——甲骨文 oracle。
与亚马逊云 aws、谷歌云、微软云 azure 不同，甲骨文与 openai 或 anthropic 没有业务往来，这可能使其对马斯克作为九游会国际的合作伙伴更具吸引力。
同时，马斯克也是甲骨文联合创始人埃里森的老朋友，埃里森此前曾担任马斯克的另一家公司特斯拉的董事会董事，并出资帮助马斯克接管了当时还被称为 twitter 的 x。据直接知情人士透露，xai 已经是 oracle 最大的 h100 客户，使用了超过 15000 个芯片。
现在，马斯克已经明确 xai 将需要多达 10 万个专用半导体来训练和运行下一代 grok。他告诉投资者，xai 计划将所有这些芯片串联成一台大型计算机，他称之为「算力超级工厂」（gigafactory of compute）。马斯克希望在 2025 年秋天之前让这台超级计算机投入运行，并将亲自负责按时交付。他称，这些连接起来的 h100 集群，建成后的规模将至少是目前最大 gpu 集群的四倍。
在「算力超级工厂」的计划下，xai 可能与甲骨文公司合作开发超级计算机，也可能选择其他合作方或合作形式。一个细节体现在本轮融资的出资方包括红杉、a16z 等基金，唯独没有甲骨文的身影。相比之下，其他三大云厂商和大模型公司之间的合作则通过投资来「锁定」云客户。
无论如何，「算力超级工厂」给了 grok 上一线牌桌的起点，这场 ai 背后的算力竞赛，还将继续加码。
此前，扎克伯格表示，到 2024 年底，meta 将拥有 35 万台 h100，其中一些将用于训练公司的 llama 开源大模型。微软计划在今年和明年为 openai 提供容纳数十万个 gpu 的服务器。openai 和微软已经在讨论到 2028 年开发一台价值 1000 亿美元的超级计算机。
02
grok，马斯克商业
版图不可或缺的一环
马斯克曾于 2015 年联合创办了非营利机构——openai，2018 年 2 月，马斯克辞去了 openai 董事会席位，理由是与他作为特斯拉 ceo 的角色存在「潜在的未来利益冲突」。
去年，马斯克创办了 xai，再度下场做大模型，以开发一种他认为与谷歌和 openai 相比不那么「清醒（woke）」，不那么容易受到政治正确或其他审查制度影响的替代方案。在今天融资官宣的博客里，xai 再次重申了这一点，称 xai 专注于开发真实、有能力且对全人类最大利益的先进 ai 系统，公司使命是了解宇宙的真实本质。
过去一年，xai 从 2023 年 7 月公司发布，到 11 月在 x 上发布 grok-1，再到最近宣布的具有长上下文能力的改进型 grok-1.5 模型，再到具有图像理解功能的 grok-1.5v，xai 的模型能力得到了快速提升。
在马斯克的构想中，grok 对语音的限制比 openai 和谷歌的 ai 助手要少。马斯克表示，该公司目前正在 2 万个 gpu 上训练 grok 2，最近的一个版本可以处理文档、图表和现实世界中的物体。马斯克计划将该模型扩展到音频和视频领域。
马斯克在向潜在投资者推介时说，xai 比 anthropic 和 openai 更有优势，因为这两家公司没有直接向客户销售其模型的明确途径，而是依赖云提供商转售其技术。
他称，xai 将通过包括特斯拉在内的其他公司销售 grok，从而更直接地接触用户。而自动驾驶也被视为大模型最大的应用场景。
融资消息官宣后，马斯克在 x.com 为 xai 招聘人才。｜截图来源：x.com
xai 九游会国际官网中，该公司正在招聘数据、多模态、模型训练的人才。｜图片来源：xai
值得注意的是，xai 大约有 50 名员工，其员工相关成本仅是对手的一小部分。今天，xai 也在九游会国际官网寻求更多 ai 人才，释放了一众招聘岗位。
一边狂裁特斯拉，一边疯狂为 xai 招人，马斯克的 ai 之路，走的依然是他自己的风格。（宛辰）
rss订阅