20 अक्टूबर को DeepSeek ने अपना इन-हाउस इन्फरेंस फ्रेमवर्क DeepInfer और प्रोडक्शन-ग्रेड टोकन कोडेक deepseek-recipe ओपन-सोर्स कर दिया — किसी फ्रंटियर लार्ज-मॉडल कंपनी द्वारा उत्पादन में चल रहे नेटिव इन्फरेंस फ्रेमवर्क को सार्वजनिक करने का पहला मामला।
मुख्य आंकड़े: DeepInfer पहले से ही DeepSeek V4.1 Flash की सेवा में इस्तेमाल हो रहा है। एक क्लस्टर रोज़ाना 155 क्वाड्रिलियन टोकन का थ्रूपुट संभालता है; औसत पहला टोकन 400 ms, जनरेशन 230 टोकन/सेकंड (कोडिंग में 300), इनपुट कैश हिट रेट 96%।
खासियत: वितरित इन्फरेंस व लोड बैलेंसिंग, स्पेक्युलेटिव डिकोडिंग (DSpark + कॉन्फिडेंस वेरिफिकेशन, ऑनलाइन थ्रूपुट +6%), SWA Bounded Replay; NVIDIA GPU और Huawei Ascend NPU दोनों के साथ संगत।
स्रोत लिंक: मूल लेख पढ़ें। मूल से तैयार सारांश; केवल संदर्भ हेतु।
