Cerebras 晶圆级部署方案:59 片晶圆跑一个 3 万亿参数大模型

Cerebras 晶圆级部署方案:59 片晶圆跑一个 3 万亿参数大模型

Cerebras 在官方博客中公布了万亿参数级大模型的晶圆级部署方案,以开源模型 Kimi K3(约 3 万亿参数、93 层)为例算了一笔账。按 4 比特量化,每层约 16GB:69 层线性注意力层两层拼一片晶圆,24 层全注意力层独占一片并留出 KV 缓存空间,35 加 24 共 59 片。每片 WSE-3T 晶圆有 44GB 片上内存,整层可直接驻留芯片。运行时按流水线排布,层间只传中间结果,单跳约 2 微秒;Cerebras 称这类模型可达每秒 1000-2000+ token。但要说清楚:K3 只是示例,这是部署配方、不是 59 片晶圆上的实测成绩。模型越大,部署的工程账越关键。

原文链接:点击查看原文

评论