タグ「Cerebras」の記事

Cerebrasのウェハースケール展開計画：3兆パラメータモデルに59枚のウェハー

Cerebrasは公式ブログで、兆パラメータ級モデルのウェハースケール展開計画を公開し、オープンモデルKimi K3（約3兆パラメータ、93層）を試算例とした。4ビット量子化では1層あたり約16GBで、69層のリニアアテンション層は1枚のウェハーに2層ずつ、24層のフルアテンション層はKVキャッシュ用の余地を残して1枚