街坊秀 街坊秀

当前位置: 首页 » 街坊资讯 »

面壁智能发布基于稀疏-线性混合架构SALA训练9B模型

2月12日,面壁智能正式发布行业首个大规模训练的稀疏-线性注意力混合架构SALA,以及基于该架构的文本模型MiniCPM-SALA,模型仅有9B参数。据介绍,MiniCPM-SALA不使用投机采样等加速算法,在云端推理芯片上,当序列长度为256K词元时推理速度高达Qwen3-8B的3.5倍,并支持在云端芯片和消费级端侧GPU上进行高达一百万词元上下文长度的推理。

(本文来自第一财经)

未经允许不得转载: 街坊秀 » 面壁智能发布基于稀疏-线性混合架构SALA训练9B模型