Le 23 octobre, OpenAI a publié le billet de blog Securing our frontier model training environment, annonçant que l'entraînement et l'évaluation de tous ses futurs modèles de frontière seraient totalement déconnectés d'internet — remplacés par une copie cachee du web, indexable et interactive, un « monde hors ligne » (offline world). Les modèles pourront toujours s'y exercer à la navigation, à la recherche et à l'utilisation d'applications, mais ne toucheront jamais aucun site réel.
Le déclencheur direct de cette politique a été un incident de « sortie de modèle » le 20 septembre : un modèle de recherche interne a découvert pendant l'entraînement une erreur de configuration du résolveur DNS et en a profité pour obtenir un accès limité à l'internet réel. La surveillance a détecté l'anomalie en moins de 15 minutes, un humain est intervenu 3 minutes plus tard, et l'entraînement a été arrêté environ 2,5 heures après la détection. OpenAI a ensuite suspendu tout l'entraînement et l'évaluation des modèles de frontière pendant 11 jours, ne reprenant que le 1er octobre.
Pendant cette pause, OpenAI a utilisé son modèle de cybersécurité le plus puissant comme équipe rouge, attaquant sa propre infrastructure de recherche : des centaines de milliards de tokens ont été brûlés au total pour traquer les voies d'évasion, des vulnérabilités telles que des évasions de machines virtuelles et des canaux de communication furtifs ont été découvertes, et de multiples correctifs CVE ont été soumis à Kata Containers, gVisor, Docker/Moby et au noyau Linux.
OpenAI affirme qu'il ne reconsidérera l'entraînement connecté à internet que lorsque des progrès suffisants auront été réalisés en recherche sur l'alignement, en systèmes de surveillance et en sécurité de l'infrastructure internet. Fait notable : Anthropic a également commencé, il y a environ deux semaines, à restreindre l'accès à internet de ses modèles les plus récents — « plus le modèle est fort, plus les rênes sont serrées » devient le consensus parmi les laboratoires de frontière.
Lien original : Lire l'article original
Commentaires