Gary King e Steven Worthington, do Instituto de Ciência Social Quantitativa de Harvard, compararam a IA com o painel de avaliadores humanos mais forte em um preprint publicado em 22 de outubro, e o resultado foi unilateral: Claude venceu nas sete dimensões de avaliação.
O estudo usou como referência humana 124 artigos e 134 avaliações de especialistas remunerados do serviço rapidPeer de Harvard, de 2019 a 2026. Claude Opus 4.8 competiu com seu raciocínio no máximo; um grupo também pôde pesquisar na web, com média de 12,4 pesquisas por artigo. A avaliação ficou a cargo de comparações cegas em pares feitas pelo GPT-5.5 da OpenAI e de três ex-editores de revistas que não sabiam qual avaliação fora escrita por uma máquina.
- Notas mais altas em tudo: a IA obteve média de 8,7 pontos, contra 6,0 dos humanos; os ex-editores escolheram a avaliação de IA em 26 dos 30 julgamentos cegos, com as maiores diferenças em fontes e em figuras e tabelas.
- Também mais precisa: ao verificar cada afirmação em relação ao manuscrito, a taxa de erro humana foi de 15,9%, contra 5,5% de Claude; nenhuma das 651 citações com DOI ou identificador arXiv foi inventada.
- Uma proposta e um alerta: os autores sugerem que as revistas publiquem seus comandos de avaliação por IA e permitam que os autores façam uma pré-avaliação com IA antes da submissão, enquanto a decisão final de publicação permanece com editores humanos; também alertam que a ajuda da IA pode fazer as ideias acadêmicas convergirem.
Link original: Clique para ver o original
Comentários