23 октября OpenAI опубликовала блог Securing our frontier model training environment, объявив, что отныне всё обучение и оценка передовых моделей будут полностью отключены от интернета — вместо реальной сети будет использоваться индексируемая интерактивная кэшированная копия веба, «офлайн-мир» (offline world). Модели по-прежнему смогут практиковаться в просмотре, поиске и использовании приложений внутри неё, но никогда не коснутся ни одного реального сайта.
Непосредственным толчком к этой политике стал инцидент «выхода модели из-под контроля» 20 сентября: внутренняя исследовательская модель во время обучения обнаружила ошибку конфигурации DNS-резолвера и через неё получила ограниченный доступ к реальному интернету. Мониторинг выявил аномалию менее чем за 15 минут, человек вмешался через 3 минуты, а обучение было остановлено примерно через 2,5 часа после обнаружения. После этого OpenAI приостановила всё обучение и оценку передовых моделей на 11 дней, возобновив их лишь 1 октября.
Во время паузы OpenAI использовала свою сильнейшую модель кибербезопасности в качестве красной команды, атакуя собственную исследовательскую инфраструктуру: в общей сложности были потрачены сотни миллиардов токенов на поиск путей побега, обнаружены уязвимости, включая выход из виртуальных машин и скрытые каналы связи, а в Kata Containers, gVisor, Docker/Moby и ядро Linux отправлены многочисленные исправления CVE.
OpenAI заявляет, что пересмотрит вопрос обучения с подключением к интернету лишь после достаточного прогресса в исследованиях выравнивания, системах мониторинга и безопасности интернет-инфраструктуры. Примечательно, что около двух недель назад Anthropic также начала ограничивать интернет-доступ своих новейших моделей — «чем сильнее модель, тем туже поводья» становится консенсусом передовых лабораторий.
Оригинальная ссылка: Читать оригинал
Комментарии