La plateforme d'IA juridique Ivo a évalué sept modèles de pointe dans son nouveau benchmark ContractBench, construit à partir de 350 contrats réels. Grok 4.7 de xAI arrive en tête avec un taux de réussite pondéré de 58,3 %, juste devant Claude Opus 5.5 (58,1 %) et Kimi K3 (57,1 %) — une course très serrée au sommet.
Les taux d'achèvement ont davantage départagé les leaders : Grok a terminé 99,5 % des tâches et Kimi 100 %, contre seulement 80,8 % pour Opus. Kimi s'est aussi révélé 38 % moins cher par tâche achevée et 13 % plus rapide que Grok.
Le résultat le plus révélateur est le plafond lui-même : aucun des sept modèles n'a dépassé 60 %. L'IA peut déjà accélérer considérablement la révision de contrats, mais avant toute signature, la relecture humaine reste indispensable.
Source : Lire l'article original
Commentaires