Гэри Кинг и Стивен Уортингтон из Института количественных социальных наук Гарварда сравнили ИИ с самой сильной группой рецензентов-людей в препринте, опубликованном 22 октября, и результат оказался однозначным: Claude победил по всем семи критериям рецензирования.
В качестве человеческого эталона исследование использовало 124 статьи и 134 оплаченные экспертные рецензии сервиса rapidPeer Гарварда за 2019–2026 годы. Claude Opus 4.8 участвовал на максимальном уровне рассуждений; одной группе также разрешалось искать в интернете — в среднем 12,4 поиска на статью. Оценку проводили слепые парные сравнения GPT-5.5 от OpenAI и трое бывших редакторов журналов, не знавших, какая рецензия написана машиной.
- Более высокие оценки по всем показателям: ИИ набрал в среднем 8,7 балла против 6,0 у людей; бывшие редакторы выбрали рецензию ИИ в 26 из 30 слепых оценок, причём наибольшие разрывы касались источников, рисунков и таблиц.
- А также большая точность: при проверке каждого утверждения по рукописи частота ошибок людей составила 15,9%, а у Claude — 5,5%; ни одна из 651 ссылок с DOI или идентификатором arXiv не была выдумана.
- Предложение и предупреждение: авторы предлагают журналам публиковать свои инструкции для ИИ-рецензирования и разрешать авторам предварительно рецензировать работы с помощью ИИ до подачи, при этом окончательное решение о публикации остаётся за редакторами-людьми; они также предупреждают, что помощь ИИ может привести к сближению научных идей.
Оригинальная ссылка: Нажмите, чтобы посмотреть оригинал
Комментарии