哈佛实验:Claude 审稿全面胜过人类专家,错误率仅约人类三分之一

哈佛实验:Claude 审稿全面胜过人类专家,错误率仅约人类三分之一

哈佛大学定量社会科学研究所的 Gary King 与 Steven Worthington 在 10 月 22 日发布的预印本中,对比了 AI 与人类最强审稿团的表现,结论一边倒:Claude 在七个审稿维度上全部胜出。

研究以哈佛 rapidPeer 服务 2019 至 2026 年的 124 篇论文、134 份付费专家审稿意见作为人类基准;Claude Opus 4.8 在最高推理档位下参赛,其中一组还可联网检索,平均每篇搜索 12.4 次。裁判一方是 OpenAI GPT-5.5 的盲法成对比较,另一方是 3 位不知情的期刊前编辑。

  • 评分全面领先:AI 平均 8.7 分,人类 6.0 分;前编辑盲选 30 次中有 26 次选了 AI,补文献、看图表两项差距最大。
  • 准确性也更胜一筹:逐句对照原稿核查,人类错误率 15.9%,Claude 仅 5.5%;651 条带 DOI 或 arXiv 编号的引用无一编造。
  • 流程建议与风险并存:作者建议期刊公开 AI 审稿提示词、投稿前先用 AI 预审,但最终发表决定仍归人类编辑;同时提醒 AI 辅助可能让学术想法趋同。

原文链接:点击查看原文

评论