OpenAI 曾宣称 GPT-6 Astra 在 ARC-AGI-3 基准上拿到 99.9%，英伟达 CEO 黄仁勋据此公开表示“AGI 已到来”。但基准的出题方 ARC Prize 基金会用与其他模型相同的标准流程复测后，给出的成绩只有 62.7%——仍是该基准的榜首，却与 99.9% 相去甚远。
关键分歧在测试口径。ARC Prize 指出，99.9% 来自 OpenAI 自定的“tools-enabled”脚手架，它能让模型在动作间保留推理状态，而标准测试流程并不允许这种配置；该配置单次运行成本近 1.9 万美元。ARC Prize 因此判定该分数无效：它不是在所有实验室模型都必须通过的统一条件下测得的，换用统一标尺后分数要掉 37 个点以上。
更值得注意的是脚手架本身的影响力。ARC Prize 10 月的基准修订显示，开源脚手架 Prime Agent 就能把公开分数从约 30% 推高到 95% 以上；英伟达一个五人团队用重构的编排代码，让同一 Claude Opus 5 从 30% 冲到 100%。模型权重没变，分数却能差近 40 点——这说明当前分数提升的瓶颈可能不在模型本身，而在围绕模型的编排代码。
62.7% 本身仍是巨大飞跃：今年 3 月 ARC-AGI-3 刚发布时，前沿模型得分几乎都在 0.3% 上下，人类则是 100%。但统一标尺下仍不足三分之二的成绩，与“AGI 已到来”的 headline 之间还有相当距离。对 AGI 时间线的判断，还是以出题方复核的统一分数为准更可靠。
原文链接：点击查看原文
评论