ARC Prize rechaza el 99,9% de Astra de OpenAI: la repetición con el mismo estándar solo da un 62,7%

OpenAI afirmó en su momento que GPT-6 Astra obtuvo un 99,9% en el benchmark ARC-AGI-3, y el CEO de NVIDIA, Jensen Huang, lo citó para declarar que "la AGI ha llegado". Pero ARC Prize, creador del benchmark, volvió a evaluar Astra con el mismo procedimiento estándar usado para otros modelos y le dio solo un 62,7%: sigue siendo el mejor resultado del benchmark, pero muy lejos del 99,9%. La disputa clave es la configuración de la prueba: ARC Prize señala que el 99,9% provino del arnés personalizado "tools-enabled" de OpenAI, que permite al modelo conservar su estado de razonamiento entre acciones de un modo que la configuración estándar no permite, con un coste cercano a los 19.000 dólares por ejecución. ARC Prize declaró por tanto inválida esa puntuación, ya que no se obtuvo en las condiciones uniformes que deben superar los modelos de todos los laboratorios; con el baremo común, la puntuación cae más de 37 puntos. Más llamativo aún es el efecto del propio arnés: las revisiones de octubre de ARC Prize muestran que el arnés de código abierto Prime Agent elevó las puntuaciones públicas de alrededor del 30% a más del 95%, y un equipo de cinco personas de NVIDIA llevó el mismo Claude Opus 5 del 30% al 100% simplemente reconstruyendo el código de orquestación. Sin cambiar los pesos, las puntuaciones pueden variar casi 40 puntos, lo que sugiere que el cuello de botella actual podría estar en el código de orquestación que rodea al modelo, no en el modelo en sí. El 62,7% sigue siendo un salto enorme respecto a marzo, cuando los modelos punteros rondaban el 0,3% mientras los humanos lograban el 100%. Pero una puntuación máxima verificada todavía por debajo de dos tercios está muy lejos del titular de que "la AGI ha llegado", y las valoraciones sobre el calendario de la AGI son más fiables cuando se basan en las puntuaciones verificadas uniformemente por el creador del benchmark.