Cerebras опубликовала в своём официальном блоге план развёртывания моделей с триллионами параметров на уровне пластин, взяв в качестве примера открытую модель Kimi K3 (около 3 триллионов параметров, 93 слоя). При 4-битном квантовании каждый слой занимает около 16 ГБ: 69 слоёв линейного внимания размещаются по два на пластину, а 24 слоя полного внимания занимают по одной пластине с местом под KV-кэш — 35 плюс 24, всего 59 пластин. Каждая пластина WSE-3T имеет 44 ГБ памяти на кристалле, поэтому целый слой может находиться непосредственно на чипе. При работе слои образуют конвейер и передают между пластинами только промежуточные результаты, примерно за 2 микросекунды на переход; по заявлению Cerebras, модели этого класса могут достигать 1000–2000+ токенов в секунду. Важное уточнение: K3 — лишь пример, это рецепт развёртывания, а не измеренный результат на 59 пластинах. Чем больше модель, тем важнее инженерия развёртывания.
Оригинальная ссылка: Нажмите, чтобы просмотреть оригинал
Комментарии