हार्वर्ड के मात्रात्मक सामाजिक विज्ञान संस्थान के गैरी किंग और स्टीवन वर्थिंगटन ने 22 अक्टूबर को जारी एक प्रीप्रिंट में एआई की तुलना सबसे मजबूत मानव समीक्षक दल से की, और परिणाम एकतरफा रहा: क्लाउड ने समीक्षा के सभी सात आयामों में जीत हासिल की।
अध्ययन में 2019 से 2026 तक हार्वर्ड की rapidPeer सेवा के 124 शोधपत्रों और 134 सशुल्क विशेषज्ञ समीक्षाओं को मानव आधार बनाया गया। क्लाउड Opus 4.8 ने अधिकतम तर्क क्षमता के साथ भाग लिया; एक समूह को वेब खोज की भी अनुमति थी, जिसने प्रति शोधपत्र औसतन 12.4 खोजें कीं। मूल्यांकन OpenAI के GPT-5.5 की अंधी युग्म तुलना और तीन पूर्व पत्रिका संपादकों द्वारा किया गया, जिन्हें यह नहीं पता था कि कौन सी समीक्षा मशीन ने लिखी है।
- सभी क्षेत्रों में अधिक अंक: एआई का औसत 8.7 अंक रहा, जबकि मानवों का 6.0; पूर्व संपादकों ने 30 अंधी तुलनाओं में से 26 में एआई समीक्षा को चुना, सबसे बड़ा अंतर स्रोतों और चित्रों व तालिकाओं में रहा।
- अधिक सटीक भी: पांडुलिपि से प्रत्येक दावे की जांच में मानव त्रुटि दर 15.9% रही, जबकि क्लाउड की 5.5%; DOI या arXiv पहचान वाले 651 उद्धरणों में से कोई भी मनगढ़ंत नहीं था।
- एक प्रस्ताव और एक चेतावनी: लेखकों का सुझाव है कि पत्रिकाएं अपने एआई समीक्षा निर्देश प्रकाशित करें और लेखकों को प्रस्तुत करने से पहले एआई से पूर्व-समीक्षा करने दें, जबकि अंतिम प्रकाशन निर्णय मानव संपादकों के पास रहे; वे यह भी चेतावनी देते हैं कि एआई सहायता से विद्वानों के विचार एक जैसे हो सकते हैं।
मूल लिंक: मूल देखने के लिए क्लिक करें
टिप्पणियाँ