ARC Prize rejette le 99,9 % d'Astra revendiqué par OpenAI : le retest au même standard ne donne que 62,7 %

OpenAI avait affirmé que GPT-6 Astra obtenait 99,9 % au benchmark ARC-AGI-3, et le PDG de NVIDIA, Jensen Huang, s'en était servi pour déclarer que « l'AGI est arrivée ». Mais ARC Prize, créateur du benchmark, a retesté Astra avec la même procédure standard que pour les autres modèles et ne lui a attribué que 62,7 % — toujours le meilleur résultat du benchmark, mais très loin de 99,9 %. Le désaccord porte sur le protocole de test : ARC Prize indique que le 99,9 % provenait du harnais personnalisé « tools-enabled » d'OpenAI, qui permet au modèle de conserver son état de raisonnement d'une action à l'autre, ce que la configuration standard ne permet pas, pour un coût proche de 19 000 dollars par exécution. ARC Prize a donc jugé ce score invalide, car il n'a pas été obtenu dans les conditions uniformes que doivent respecter les modèles de tous les laboratoires ; avec l'étalon commun, le score chute de plus de 37 points. Plus frappant encore est l'effet du harnais lui-même : les révisions d'octobre d'ARC Prize montrent que le harnais open source Prime Agent a fait passer les scores publics d'environ 30 % à plus de 95 %, et qu'une équipe de cinq personnes de NVIDIA a fait passer le même Claude Opus 5 de 30 % à 100 % en reconstruisant simplement le code d'orchestration. Sans changer les poids, les scores peuvent varier de près de 40 points, ce qui suggère que le goulot actuel pourrait se situer dans le code d'orchestration autour du modèle, et non dans le modèle lui-même. Le 62,7 % reste un bond énorme par rapport à mars, quand les modèles de pointe tournaient autour de 0,3 % contre 100 % pour les humains. Mais un meilleur score vérifié encore inférieur aux deux tiers est très loin du titre « l'AGI est arrivée », et les jugements sur le calendrier de l'AGI sont plus fiables lorsqu'ils reposent sur les scores vérifiés uniformément par le créateur du benchmark.