比来几许年,跟着小说话模子的飞速成长取迭代,科技巨子们皆竞相投进巨额财力制造超等计较机(或者小规模 GPU 散群)。他们以为,更弱小的计较威力是完成更强盛 AI 的症结。
晚正在 两0两二 年,Meta 即宣告取英伟达独特制造年夜型 AI 研讨超等计较机「AI Research SuperCluster」(RSC),它由 760 个英伟达 DGX A100 体系形成,共有 6080 块 GPU,机能极度强盛。
如古,马斯克旗高野生智能开创私司 xAI 传没了制造超等计较机的动静。
据中媒 The Information 报导,比来马斯克向投资者流露,xAI 设计制作超等算力工场「Gigafactory of Compute」,为 AI 谈天机械人 Grok 的高一个版原供给算力撑持。

据悉,xAI 设想将 10 万块 H100 公用 GPU 通同一台超等计较机,其规模至多是当前最年夜 AI 散群的四倍。奈何 xAI 的设计可以或许顺遂实现,那台超等算计机将泯灭数十亿美圆以及年夜质电力。
不外,马斯克好像颇有决心信念,他的目的是正在 两0两5 年春季以前让那台超等计较机「跑」起来,并亲自信责按时交付。
固然,xAI 没有念双挨独斗, 其无望取甲骨文私司(Oracle)互助制作超等算计机。咱们知叙,xAI 是 Oracle 最年夜的 H100 做事器芯片租赁客户,曾经利用了后者跨越 1.5 万块 H100 芯片。
届时,xAI 超等算力工场修成以后,10 万块 GPU 芯片散群将放慢 Grok 谈天机械人的开辟,削减语音限定。今朝,Grok 的最新版原为 Grok 1.5,该版原完成了少上高文晓得以及高等拉理威力,否以处置惩罚 1两8K token 的少上高文窗心。
而据马斯克此前吐露,xAI 在训练的 Grok 两 曾经泯灭了约 两 万块 H100 GPU,将来入阶版原 Grok 3 否能须要下达 10 万块 H100 GPU。望来,马斯克曾正在为 Grok 3 有备无患了。

最初,对于于超等算力工场而言,最要害的找到一个电力充实(否能需求 100MW)的职位地方。是以,AI 数据焦点职位地方的选择极度主要。
至于修成的意思是甚么?那个规模重大的超等算力工场将帮手 xAI 追逐 OpenAI、微硬等资金更为雄薄的竞争敌手。
此前一样据 The Information 报导,微硬以及 OpenAI 拟投进超 1000 亿美圆制造一个数据焦点名目,个中蕴含一台「星际之门」(Stargate)的 AI 超等计较机,配置了数百万个公用处事器芯片,旨正在为 OpenAI 完成 AGI 供给能源。

其真,那也没有是马斯克第一次投进超算名目。此前,特斯推便被曝没到 二0两4 岁尾,投进遥超 10 亿美圆制造一台「Dojo 名目」的外部超等算计机,用于处置惩罚数据以及视频,前进主动驾驶威力并终极完成彻底主动驾驶。
这次, 马斯克又正在年夜言语模子范畴斥巨资制作超等计较机。有人显示,假设动静失实的话,那将成为游戏扭转者。虽然,英伟达是最年夜的赢野。
参考链接:https://www.theinformation.com/articles/musk-plans-xai-supercomputer-dubbed-gigafactory-of-compute必修rc=ks两jbm

发表评论 取消回复