“这周，xAI将开源聊天机器人Grok”

3月11日晚

特斯拉创始人埃隆·马斯克

在其旗下的社交平台X上

言简意赅地发布了上述消息

 

今天凌晨

开源版大模型Grok终于来了

xAI正式发布3140亿参数

混合专家模型Grok-1的

基本模型权重和网络架构

而3140亿的参数

也让Grok-1成为迄今参数量最大的

开源LLM

 

官方显示的模型细节包括

①基础模型

基于大量文本数据进行训练

没有针对任何具体任务进行微调

②3140亿参数的MoE模型

在给定token上的激活权重为25%

③2023年10月

xAI使用JAX库和Rust语言

组成的自定义训练堆栈从头开始训练

 

划重点！xAI遵守Apache2.0许可证

来开源Grok-1的权重和架构

Apache2.0许可证允许用户

自由地使用、修改和分发软件

无论是个人还是商业用途

 

斯坦福研究者、推特网友

@Andrew Kean Gao

将Grok-1与其他开源模型

参数量进行了对比

显示Grok-1是Llama-65B的4倍多

图源：Andrew Kean Gao X推文

 

Grok-1的开源发布

使得AI社区一片沸腾

 

知名机器学习研究者

《Python 机器学习》畅销书作者

Sebastian Raschka表示

“Grok-1比其他通常带有使用限制的

开放权重模型更加开源

但是它的开源程度

不如Pythia、Bloom和OLMo

后者附带训练代码和可复现的数据集”

 

英伟达高级科学家Jim Fan评价称

“（这是）有史以来最大的开源大模型

由世界一流的团队训练”

“我想知道被Grok超越是什么感觉”

此外，他还做了一下修正

Google传统型号的

switch transformer为1.6T

目前保持着公开记录

 

但也有网友持怀疑态度：

到目前为止

与Grok相关的一切似乎都是表演性的

“作为一个功能模型，它并不严肃”

 

对此，有网友回复称

“还是比什么都没有好

训练这种规模的模型并不是免费的

这对研究很有用”

 

图源：X

 

而随着开源版大模型Grok的发布

关于“开源”还是“闭源”的探讨

也变得更加激烈

 

作为开源技术的支持者

马斯克于前不久

向美国旧金山法院提起了诉讼

他在诉讼中表示

OpenAI与微软的合作

破坏了该公司最初致力于

开发公共和开源通用人工智能的承诺

OpenAI提供了ChatGPT的一个版本

及其背后的语言模型供免费使用

但其源代码却是闭源的

 

AI模型是否应该开源？

部分人工智能专家认为

开源人工智能模型有着显著的好处

例如提高透明度和扩大访问范围

还可以推动技术发展和扩大受益人群

 

但也有不少人认为

随着人工智能变得更加强大

可能有必要限制对某些模型的访问

因为它可能会被滥用

 

撰文/排版：雷渺鑫 编辑：李汶键 统筹：李政葳

参考丨第一财经、环球网、新华网财经、量子位、智东西、InfoQ

更多信息欢迎关注光明网数字化频道