ARC Prize отвергла 99,9% Astra от OpenAI: повторный тест по единому стандарту дал лишь 62,7%

OpenAI заявляла, что GPT-6 Astra набрала 99,9% на бенчмарке ARC-AGI-3, а генеральный директор NVIDIA Дженсен Хуанг, ссылаясь на это, объявил, что «AGI наступила». Однако ARC Prize, создатель бенчмарка, повторно протестировала Astra по той же стандартной процедуре, что и другие модели, и получила лишь 62,7% — по-прежнему лучший результат бенчмарка, но далеко не 99,9%. Ключевой спор — в методике теста: по данным ARC Prize, 99,9% были получены с помощью собственной оснастки OpenAI «tools-enabled», которая позволяет модели сохранять состояние рассуждений между действиями, чего стандартная конфигурация не допускает, при стоимости около 19 000 долларов за запуск. Поэтому ARC Prize признала этот результат недействительным: он получен не в единых условиях, которые должны проходить модели всех лабораторий; по общей шкале оценка падает более чем на 37 пунктов. Еще показательнее влияние самой оснастки: октябрьские пересмотры ARC Prize показывают, что открытая оснастка Prime Agent подняла публичные оценки примерно с 30% до более чем 95%, а команда NVIDIA из пяти человек перевела тот же Claude Opus 5 с 30% на 100%, просто перестроив код оркестрации. Без изменения весов оценки могут колебаться почти на 40 пунктов — это говорит о том, что нынешнее узкое место может находиться в коде оркестрации вокруг модели, а не в самой модели. 62,7% — по-прежнему огромный скачок по сравнению с мартом, когда передовые модели набирали около 0,3% при 100% у людей. Но лучший проверенный результат, все еще ниже двух третей, далек от заголовка «AGI наступила», а суждения о сроках AGI надежнее, когда они основаны на оценках, единообразно проверенных создателем бенчмарка.