El 20 de octubre, DeepSeek liberó su framework de inferencia propio DeepInfer junto con deepseek-recipe, un códec de tokens de nivel productivo: la primera vez que un laboratorio de frontera publica el framework de inferencia nativo que realmente opera en producción.
Cifras clave: DeepInfer ya presta servicio a DeepSeek V4.1 Flash a escala. Un solo clúster sostiene 155 cuatrillones de tokens al día, con primer token en 400 ms de media, generación a 230 tokens/s (300 en programación) y acierto de caché de entrada del 96%.
Lo destacado: inferencia distribuida y balanceo de carga, decodificación especulativa (DSpark + verificación por confianza, +6% de rendimiento en línea), SWA Bounded Replay; compatible con GPU de NVIDIA y NPU Ascend de Huawei.
Enlace a la fuente: Leer el artículo original. Resumen del original; solo para referencia.
