智东西
作者 | 云鹏
编辑 | 心缘
6个月掏出3410亿参数自研大模型，马斯克说到做到！
智东西3月18日消息，就在刚刚，马斯克的ai创企xai正式发布了此前备受期待大模型grok-1，其参数量达到了3140亿，远超openai gpt-3.5的1750亿。
这是迄今参数量最大的开源大语言模型，遵照apache 2.0协议开放模型权重和架构。
grok-1是一个混合专家（mixture-of-experts，moe）大模型，这种moe架构重点在于提高大模型的训练和推理效率，形象地理解，moe就像把各个领域的“专家”集合到了一起，遇到任务派发给不同领域的专家，最后汇总结论，提升效率。决定每个专家做什么的是被称为“门控网络”的机制。
xai已经将grok-1的权重和架构在github上开源。
github地址：
https://github.com/xai-org/grok-1?tab=readme-ov-file
目前grok-1的源权重数据大小大约为300gb。
截至北京时间3月18日上午7时许，grok-1项目收获了3400颗星。
grok-1是马斯克xai自2023年7月12日成立以来发布的首个自研大模型。xai特别强调说这是他们自己从头训练的大模型。grok-1没有针对特定应用进行微调。
xai是马斯克去年刚刚成立的明星ai创企，其目的之一就是与openai、谷歌、微软等对手在大模型领域进行竞争，其团队来自openai、谷歌deepmind、谷歌研究院、微软研究院等诸多知名企业和研究机构。
此前马斯克刚刚“怒喷”openai不够“open”，后脚这就开源了自家的顶级3410亿参数自研大模型grok-1。虽然马斯克在预热到发布的过程中也“放了几次鸽子”，但最终他并没有食言。
今天，xai还公布了grok-1的更多细节：
基础模型基于大量文本数据训练，未针对特定任务进行微调。
3140亿参数的mixture-of-experts模型，其对于每个token，活跃权重比例为25%。
xai从2023年10月开始使用自定义训练堆栈在jax和rust之上从头开始训练。
但此次xai并没有放出grok-1的具体测试成绩，其与openai即将发布的gpt-5的大模型王者之战，必将成为业内关注的焦点。
当然，马斯克发大模型，怎么会少的了大佬隔空对线“互怼”？
xai官方消息刚刚发布，chatgpt的官方账号马上就跟马斯克在x平台上进行了互动，在grok官方账号评论下回复道：“偷了我的笑话。”
马斯克自然不会示弱，马上说请告诉我openai“open”之处在哪里。
马斯克高仿号也马上跑过来添油加醋，说我们都知道是sam在运营chatgpt的账号。
值得一提的是，此次xai发布grok-1消息的封面图片，是由midjourney生成，grok给出了提示文本：一个神经网络的3d插图，具有透明节点和发光连接，展示不同粗细和颜色的连接线的不同权重（a 3d illustration of a neural network, with transparent nodes and glowing connections, showcasing the varying weights as different thicknesses and colors of the connecting lines）。
原图：
rss订阅