ARC PrizeがOpenAIのAstra 99.9%主張を否定：同一基準の再テストは62.7%にとどまる

OpenAIはGPT-6 AstraがベンチマークARC-AGI-3で99.9%を記録したと主張し、NVIDIAのジェンスン・フアンCEOはそれを根拠に「AGIが到来した」と宣言した。しかしベンチマークの作成者であるARC Prizeが、他のモデルと同じ標準手順でAstraを再テストしたところ、結果は62.7%にとどまった。依然としてベンチマークの首位ではあるが、99.9%にはほど遠い。争点の核心はテストの設定である。ARC Prizeによれば、99.9%はOpenAI独自の「tools-enabled」ハーネスによるもので、標準設定では認められない形でモデルが行動間で推論状態を保持できる仕組みであり、1回の実行コストは約1万9000ドルにのぼる。したがってARC Prizeはこのスコアを無効と判断した。すべての研究室のモデルが満たすべき統一条件で測定されたものではないからであり、共通の物差しではスコアは37ポイント以上下がる。さらに注目すべきはハーネス自体の影響である。ARC Prizeの10月の改訂では、オープンソースのPrime Agentハーネスが公開スコアを約30%から95%超へ押し上げ、NVIDIAの5人チームは編成コードを再構築するだけで同じClaude Opus 5を30%から100%へ引き上げた。重みを変えずにスコアが40ポイント近く変動しうることは、現在のボトルネックがモデル自体ではなく、モデルを取り巻く編成コードにある可能性を示している。62.7%は、フロンティアモデルが0.3%前後、人間が100%だった3月と比べれば依然として大きな飛躍である。しかし検証済みの最高スコアが3分の2に届かない現状は、「AGIが到来した」という見出しからはほど遠く、AGIの時期に関する判断は、ベンチマーク作成者が統一的に検証したスコアに基づく方が信頼できる。