Em 20 de outubro, a DeepSeek liberou seu framework de inferência próprio, DeepInfer, com o deepseek-recipe, um codec de tokens de nível produtivo: a primeira vez que um laboratório de ponta publica o framework de inferência nativo que realmente opera em produção.
Números: DeepInfer já atende o DeepSeek V4.1 Flash em escala. Um cluster sustenta 155 quatrilhões de tokens por dia, primeiro token em 400 ms em média, geração de 230 tokens/s (300 em código) e 96% de acerto de cache de entrada.
Destaques: inferência distribuída e balanceamento de carga, decodificação especulativa (DSpark + verificação por confiança, +6% de vazão), SWA Bounded Replay; compatível com GPUs NVIDIA e NPUs Ascend da Huawei.
Link da fonte: Leia o artigo original. Resumo do original; apenas para referência.
