Le 20 octobre, DeepSeek a ouvert son framework d'inférence maison DeepInfer avec deepseek-recipe, un codec de tokens de qualité production : une première — un laboratoire de modèles de pointe publie le framework d'inférence natif réellement exploité en production.
Chiffres clés : DeepInfer sert déjà DeepSeek V4.1 Flash à l'échelle. Un cluster soutient 155 quadrillions de tokens de service par jour, premier token en 400 ms en moyenne, génération à 230 tokens/s (300 en codage), taux de succès de cache d'entrée de 96 %.
Points forts : inférence distribuée et équilibrage de charge, décodage spéculatif (DSpark + vérification par confiance, +6 % de débit en ligne), SWA Bounded Replay ; compatible avec les GPU NVIDIA et les NPU Ascend de Huawei.
Lien source : Lire l'article original. Résumé de l'original ; à titre indicatif.
