A Cerebras publicou em seu blog oficial um plano de implantação em escala de wafer para modelos de trilhões de parâmetros, usando o modelo aberto Kimi K3 (cerca de 3 trilhões de parâmetros, 93 camadas) como exemplo de cálculo. Com quantização de 4 bits, cada camada tem cerca de 16 GB: as 69 camadas de atenção linear são agrupadas duas por wafer, enquanto as 24 camadas de atenção completa ocupam um wafer cada, deixando espaço para o cache KV — 35 mais 24, totalizando 59 wafers. Cada wafer WSE-3T tem 44 GB de memória on-chip, de modo que uma camada inteira pode residir diretamente no chip. Em execução, as camadas formam um pipeline e transmitem apenas resultados intermediários entre wafers, a cerca de 2 microssegundos por salto; a Cerebras afirma que modelos dessa classe podem alcançar 1.000–2.000+ tokens por segundo. Um esclarecimento importante: o K3 é apenas um exemplo — trata-se de uma receita de implantação, não de um resultado medido em 59 wafers. Quanto maior o modelo, mais a engenharia de implantação importa.
Link original: Clique para ver o original
Comentários