ARC Prize ने OpenAI के 99.9% Astra दावे को खारिज किया: समान मानक पर पुनः परीक्षण में केवल 62.7%

OpenAI ने कभी दावा किया था कि GPT-6 Astra ने ARC-AGI-3 बेंचमार्क पर 99.9% अंक प्राप्त किए, और NVIDIA के CEO जेन्सन हुआंग ने इसके आधार पर कहा था कि "AGI आ गया है।" लेकिन बेंचमार्क के निर्माता ARC Prize ने अन्य मॉडलों के समान मानक प्रक्रिया से Astra का पुनः परीक्षण किया और उसे केवल 62.7% अंक दिए — यह अब भी बेंचमार्क का शीर्ष परिणाम है, लेकिन 99.9% से बहुत दूर है। मुख्य विवाद परीक्षण व्यवस्था को लेकर है: ARC Prize का कहना है कि 99.9% OpenAI के कस्टम "tools-enabled" हार्नेस से आया, जो मॉडल को क्रियाओं के बीच तर्क स्थिति बनाए रखने देता है, जबकि मानक व्यवस्था इसकी अनुमति नहीं देती; एक रन की लागत लगभग 19,000 डॉलर बताई गई है। इसलिए ARC Prize ने इस अंक को अमान्य ठहराया, क्योंकि यह उन समान परिस्थितियों में नहीं मापा गया था जिनसे हर प्रयोगशाला के मॉडल को गुजरना होता है; सामान्य पैमाने पर अंक 37 से अधिक गिर जाता है। इससे भी उल्लेखनीय हार्नेस का प्रभाव है: ARC Prize के अक्टूबर संशोधनों से पता चलता है कि ओपन-सोर्स Prime Agent हार्नेस ने सार्वजनिक अंकों को लगभग 30% से बढ़ाकर 95% से अधिक कर दिया, और NVIDIA की पांच सदस्यीय टीम ने केवल ऑर्केस्ट्रेशन कोड को फिर से बनाकर उसी Claude Opus 5 को 30% से 100% तक पहुंचा दिया। वज़न अपरिवर्तित रहते हुए अंक लगभग 40 अंकों तक बदल सकते हैं — इससे संकेत मिलता है कि वर्तमान बाधा मॉडल में नहीं, बल्कि उसके आसपास के ऑर्केस्ट्रेशन कोड में हो सकती है। 62.7% मार्च की तुलना में अब भी एक बड़ी छलांग है, जब अग्रणी मॉडलों ने लगभग 0.3% अंक प्राप्त किए थे जबकि मनुष्यों ने 100% प्राप्त किए थे। लेकिन दो-तिहाई से कम का शीर्ष सत्यापित अंक "AGI आ गया है" की सुर्खी से बहुत दूर है, और AGI समयरेखा के बारे में निर्णय बेंचमार्क निर्माता के समान रूप से सत्यापित अंकों पर आधारित होने पर अधिक विश्वसनीय होते हैं।