10月20日、DeepSeekは自社の推論フレームワークDeepInferと本番グレードのトークンコーデックdeepseek-recipeをオープンソース化した。フロンティア大規模モデル企業が実際に本番稼働しているネイティブ推論フレームワークを公開するのは初めてのことだ。
主な数値:DeepInferはすでにDeepSeek V4.1 Flashの大規模サービスに投入されている。単一クラスタで1日155京トークンのスループットを処理し、平均初回トークン生成時間400ミリ秒、生成速度は毎秒230トークン(コーディングでは300)、入力キャッシュヒット率96%。
特徴:分散推論と負荷分散、投機的デコーディング(DSpark+信頼度ベース検証でオンラインスループット+6%)、SWA Bounded Replay。NVIDIA GPUとHuawei Ascend NPUの両方に対応する。
出典リンク:原文を読む。原文からの要約であり、参考用です。




