Gary King et Steven Worthington, de l'Institute for Quantitative Social Science de Harvard, ont comparé l'IA au panel d'évaluateurs humains le plus solide dans un preprint publié le 22 octobre, et le résultat a été sans appel : Claude l'a emporté sur les sept dimensions d'évaluation.
L'étude a pris comme référence humaine 124 articles et 134 évaluations d'experts rémunérés du service rapidPeer de Harvard, de 2019 à 2026. Claude Opus 4.8 a concouru à son niveau de raisonnement maximal ; un groupe pouvait en outre rechercher sur le web, avec en moyenne 12,4 recherches par article. L'évaluation reposait sur des comparaisons aveugles par paires réalisées par GPT-5.5 d'OpenAI et sur trois anciens rédacteurs de revues qui ignoraient quelle évaluation provenait d'une machine.
- De meilleures notes partout : l'IA a obtenu en moyenne 8,7 points contre 6,0 pour les humains ; les anciens rédacteurs ont choisi l'évaluation de l'IA dans 26 des 30 jugements à l'aveugle, les écarts les plus marqués portant sur les sources et sur les figures et tableaux.
- Plus précise aussi : en vérifiant chaque affirmation par rapport au manuscrit, le taux d'erreur humain était de 15,9 %, contre 5,5 % pour Claude ; aucune des 651 citations dotées d'un DOI ou d'un identifiant arXiv n'était inventée.
- Une proposition et un avertissement : les auteurs suggèrent que les revues publient leurs consignes d'évaluation par IA et laissent les auteurs pré-évaluer leurs textes par IA avant soumission, tandis que la décision finale de publication reste aux rédacteurs humains ; ils avertissent aussi que l'aide de l'IA pourrait faire converger les idées scientifiques.
Lien original : Cliquez pour voir l'original
Commentaires