街坊秀 街坊秀

当前位置: 首页 » 街坊资讯 »

英伟达发布Dynamo,号称“AI工厂的操作系统”

格隆汇3月19日|英伟达正式发布Dynamo,号称是“AI 工厂的操作系统”。Dynamo是一个“分布式推理服务库”。本质上,它是一个针对用户需求token而无法生产足够token之间问题的开源解决方案。黄仁勋展示了一张关于推理的图表,X轴显示用户每秒的Token数,Y轴显示工厂每秒的Token数。在Dynamo、Grace Blackwell NVLink72超级芯片的加持下,Blackwell相比Hopper可实现25倍的性能提升。而在推理模型中,Blackwell的性能是Hopper的40倍。黄仁勋还打趣道,有了上述最新技术加持,搭建AI工厂的厂商“买得越多、省得越多”。

未经允许不得转载: 街坊秀 » 英伟达发布Dynamo,号称“AI工厂的操作系统”