ARC Prize rejeita os 99,9% de Astra da OpenAI: reteste no mesmo padrão dá apenas 62,7%

A OpenAI afirmou que o GPT-6 Astra obteve 99,9% no benchmark ARC-AGI-3, e o CEO da NVIDIA, Jensen Huang, citou o número para declarar que "a AGI chegou". Mas a ARC Prize, criadora do benchmark, retestou o Astra com o mesmo procedimento padrão usado para outros modelos e atribuiu-lhe apenas 62,7% — ainda o melhor resultado do benchmark, mas muito longe dos 99,9%. A disputa central é a configuração do teste: a ARC Prize afirma que os 99,9% vieram do harness personalizado "tools-enabled" da OpenAI, que permite ao modelo preservar seu estado de raciocínio entre ações de uma forma que a configuração padrão não permite, a um custo próximo de 19.000 dólares por execução. A ARC Prize, portanto, considerou a pontuação inválida, pois não foi obtida nas condições uniformes que os modelos de todos os laboratórios devem cumprir; com a régua comum, a pontuação cai mais de 37 pontos. Mais impressionante é o efeito do próprio harness: as revisões de outubro da ARC Prize mostram que o harness de código aberto Prime Agent elevou as pontuações públicas de cerca de 30% para mais de 95%, e uma equipe de cinco pessoas da NVIDIA levou o mesmo Claude Opus 5 de 30% para 100% apenas reconstruindo o código de orquestração. Sem alterar os pesos, as pontuações podem variar quase 40 pontos — o que sugere que o gargalo atual pode estar no código de orquestração ao redor do modelo, e não no modelo em si. Os 62,7% continuam sendo um salto enorme em relação a março, quando os modelos de ponta ficavam em torno de 0,3% contra 100% dos humanos. Mas uma pontuação máxima verificada ainda abaixo de dois terços está muito longe da manchete de que "a AGI chegou", e os julgamentos sobre o cronograma da AGI são mais confiáveis quando baseados nas pontuações verificadas uniformemente pela criadora do benchmark.