Gary King y Steven Worthington, del Instituto de Ciencias Sociales Cuantitativas de Harvard, compararon la IA con el panel de revisores humanos más fuerte en un preprint publicado el 22 de octubre, y el resultado fue unilateral: Claude ganó en las siete dimensiones de revisión.
El estudio usó como referencia humana 124 artículos y 134 revisiones de expertos remunerados del servicio rapidPeer de Harvard entre 2019 y 2026. Claude Opus 4.8 compitió con su razonamiento al máximo; un grupo pudo además buscar en la web, con un promedio de 12,4 búsquedas por artículo. La evaluación corrió a cargo de comparaciones ciegas por pares de GPT-5.5 de OpenAI y de tres exeditores de revistas que no sabían qué revisión había escrito una máquina.
- Puntuaciones más altas en todo: la IA promedió 8,7 puntos frente a 6,0 de los humanos; los exeditores eligieron la revisión de IA en 26 de 30 juicios ciegos, con las mayores diferencias en fuentes y en figuras y tablas.
- También más precisa: al verificar cada afirmación contra el manuscrito, la tasa de error humana fue del 15,9%, frente al 5,5% de Claude; ninguna de las 651 citas con DOI o identificador arXiv fue inventada.
- Una propuesta y una advertencia: los autores sugieren que las revistas publiquen sus instrucciones de revisión con IA y permitan a los autores una prerrevisión con IA antes de enviar, mientras la decisión final de publicación siga en manos de editores humanos; también advierten de que la ayuda de la IA podría hacer converger las ideas académicas.
Enlace original: Haz clic para ver el original
Comentarios