Cerebras a publié sur son blog officiel un plan de déploiement à l'échelle de la tranche pour les modèles à plusieurs billions de paramètres, en prenant le modèle ouvert Kimi K3 (environ 3 billions de paramètres, 93 couches) comme exemple de calcul. Avec une quantification sur 4 bits, chaque couche pèse environ 16 Go : les 69 couches d'attention linéaire se regroupent par deux sur une tranche, tandis que les 24 couches d'attention complète occupent chacune une tranche en laissant de la place au cache KV — 35 plus 24, soit 59 tranches au total. Chaque tranche WSE-3T dispose de 44 Go de mémoire sur puce, de sorte qu'une couche entière peut résider directement sur la puce. À l'exécution, les couches forment un pipeline et ne transmettent que des résultats intermédiaires entre tranches, en environ 2 microsecondes par saut ; Cerebras affirme que les modèles de cette classe peuvent atteindre 1 000 à plus de 2 000 tokens par seconde. Une précision s'impose : K3 n'est qu'un exemple — il s'agit d'une recette de déploiement, pas d'un résultat mesuré sur 59 tranches. Plus le modèle est grand, plus l'ingénierie de déploiement compte.
Lien original : Cliquez pour voir l'original
Commentaires