20 октября DeepSeek открыла собственный инференс-фреймворк DeepInfer вместе с токен-кодеком промышленного уровня deepseek-recipe — впервые передовая лаборатория больших моделей публично выпустила нативный инференс-фреймворк, реально работающий в продакшне.
Ключевые цифры: DeepInfer уже обслуживает DeepSeek V4.1 Flash в промышленных масштабах. Один кластер обрабатывает 155 квадриллионов токенов в сутки, среднее время до первого токена — 400 мс, скорость генерации — 230 токенов/с (300 в кодировании), коэффициент попаданий входного кэша — 96%.
Особенности: распределённый инференс и балансировка нагрузки, спекулятивное декодирование (DSpark + верификация по доверию, +6% к онлайн-пропускной способности), SWA Bounded Replay; совместимость с GPU NVIDIA и NPU Ascend от Huawei.
Ссылка на источник: Читать оригинал. Резюме по оригиналу; только для ознакомления.
