Cerebras ha publicado en su blog oficial un plan de despliegue a escala de oblea para modelos de billones de parámetros, usando el modelo abierto Kimi K3 (unos 3 billones de parámetros, 93 capas) como ejemplo de cálculo. Con cuantización de 4 bits, cada capa ocupa unos 16 GB: las 69 capas de atención lineal se agrupan de dos en dos por oblea, mientras que las 24 capas de atención completa ocupan una oblea cada una y dejan espacio para la caché KV; 35 más 24 suman 59 obleas. Cada oblea WSE-3T tiene 44 GB de memoria en chip, de modo que una capa entera puede residir directamente en el chip. En ejecución, las capas forman un pipeline y solo pasan resultados intermedios entre obleas, a unos 2 microsegundos por salto; Cerebras afirma que los modelos de esta clase pueden alcanzar más de 1.000–2.000 tokens por segundo. Una aclaración importante: K3 es solo un ejemplo; esto es una receta de despliegue, no un resultado medido en 59 obleas. Cuanto mayor es el modelo, más importa la ingeniería de despliegue.
Enlace original: Haz clic para ver el original
Comentarios