街坊秀 街坊秀

当前位置: 首页 » 街坊资讯 »

从 Apple M5 到 DGX Spark ,Local AI 时代的到来还有多久?

(来源:机器之心)

引言:近期,黄仁勋将桌面级 AI 超算 DGX Spark 交付给马斯克的场景,引发了社区热议。与此同时,Apple Silicon 等芯片将端侧推理能力持续下放,Ollama 等本地运行时和 Gemma 3 等端侧模型供给也在加速成熟,进一步推动了 Libra 等离线本地产品从「跑起来」走向「用起来」。但是,当本地算力和能效、内存带宽、知识更新和开箱即用体验仍然制约普通消费者的真实需求时,消费终端 Local AI 还需要跨过哪些关键门槛,才能真正进入大众化落地阶段?

目录

01. 云端 AI 算力中心投资冲击 3 万亿美金的同时,英伟达为何进一步布局本地计算?

DGX Spark 从 DGX-1 的「云端起点」走到「桌面回迁」,Local AI 的拐点已到?...

02. 目前消费终端 Local AI 的「三件套」长成了吗?

Apple Silicon 等硬件如何把本地工作负载变成可用体验?Ollama 等用户级运行时叠加 Gemma 3 等端侧模型供给,会催生什么样的本地产品形态?...

03. 距离普通消费者的「终端本地 AI 时代」,我们还差哪几道关键「门槛」?

SLM 和端侧芯片新架构的结合,会把消费终端 Local AI 的能力边界推到哪一步?...

云端 AI 算力中心投资冲击 3 万亿美金的同时,英伟达为何进一步布局本地计算?

1、过去两年由于生成式 AI 的爆发,全球范围内科技巨头和资本对于云端超大规模算力中心展开了大规模的投资。

2、据摩根士丹利估算,2028 年全球数据中心建设累计支出可能接近 3 万亿美元规模,其中 1.4 万亿美元将由美国大型科技公司(超大规模数据中心)的现金流所覆盖。[2-1]

① 今年年初,微软宣布投资约 800 亿美元建设 AI 数据中心,该投资主要用于训练 AI 模型和推出 AI 云应用等。[2-2]

3、而在云端计算的资本热潮中,英伟达近期发布的 DGX Spark AI 超算系统也引起了社区对本地计算的关注。

① 今年 10 月 15 日,黄仁勋亲手将 NVIDIA DGX Spark 交付给埃隆·马斯克,且各 OEM 厂商包括华硕、Dell、联想、微信、惠普、宏基、技嘉都同步发布,售价 3999 美元。[2-3]

4、DGX Spark 是全球迄今为止最小的 AI 超级计算机,外形设计类似 Mini AI 电脑,长度只有 A4 纸的一半。[2-3]

5、该产品提供千万亿次浮点运算的 AI 性能和 128GB 统一内存,使开发者能够对参数为 2000 亿的 AI 模型进行推理,并在本地对参数为 700 亿的模型进行微调。此外,DGX Spark 还允许开发者在本地创建 AI 代理并运行高级软件栈。[2-4]

6、2016 年黄仁勋向 OpenAI 交付 DGX-1,由此开启了云端 AI 时代,如今 DGX Spark 的发布将海量的计算压缩到本地设备中,算力也将从云端回迁到「个人桌面」。[2-5]

① 为了加速普及,NVIDIA 宣布和 Acer、ASUS、Dell、HP、Lenovo 和 MSI 建立合作伙伴关系 ,计划在 2025 年底前在全球范围内分销 DGX Spark 设备。

和压缩归档的方式,保留用户的历史、画像和演化轨迹。[2-2]

目前消费终端 Local AI 的「三件套」长成了吗?

1、DGX Spark 的发布一定程度上说明了部分 AI 工作负载已具备了回到终端本地的现实条件,但要实现具备落地需求的消费终端 Local AI,除了端侧硬件的算力底座(如 DGX Spark)外,还需要本地模型的生态工具链,以及能在真实使用场景中运行的本地产品。

表:Local AI 生态主要代表产品[2-6] - [2-21]...

 关注👇🏻「机器之心PRO会员」,前往「收件箱」查看完整解读 

未经允许不得转载: 街坊秀 » 从 Apple M5 到 DGX Spark ,Local AI 时代的到来还有多久?