ハーバード実験：Claudeの査読はトップの人間査読者を上回り、誤り率は約3分の1

ハーバード大学定量的社会科学研究所のゲイリー・キング氏とスティーブン・ワージントン氏は、10月22日に公開したプレプリントで、AIと最強の人間査読者グループを比較し、結果は一方的なものとなった。Claudeは査読の7つの次元すべてで勝利した。

研究では、2019年から2026年のハーバードのrapidPeerサービスの124本の論文と134件の有償専門家査読を人間の基準とした。Claude Opus 4.8は最大の推論設定で参加し、1グループはウェブ検索も可能で、論文あたり平均12.4回検索した。判定は、OpenAIのGPT-5.5によるブラインドのペア比較と、どちらが機械による査読か知らされていない3人の元学術誌編集者によって行われた。

• すべての面で高評価：AIの平均は8.7点、人間は6.0点。元編集者はブラインド判定30回のうち26回でAIの査読を選び、文献と図表での差が最も大きかった。
• 正確さでも上回る：原稿と照合して各主張を検証すると、人間の誤り率は15.9%、Claudeは5.5%だった。DOIやarXiv識別子付きの引用651件に捏造はなかった。
• 提案と警告：著者らは、学術誌がAI査読の指示を公開し、投稿前にAIによる事前査読を著者に認める一方、最終的な掲載判断は人間編集者に残すべきだと提案する。同時に、AIの支援が学術的アイデアを収束させる恐れがあるとも警告している。

原文リンク：原文を見るにはここをクリック