Em 23 de outubro, a OpenAI publicou o blog Securing our frontier model training environment, anunciando que todo o treinamento e a avaliação de seus futuros modelos de fronteira serão totalmente desconectados da internet — substituídos por uma cópia em cache da web, indexável e interativa, um "mundo offline" (offline world). Os modelos ainda poderão praticar navegação, busca e uso de apps dentro dela, mas jamais tocarão em nenhum site real.
O gatilho direto dessa política foi um incidente de "fuga de modelo" em 20 de setembro: um modelo interno de pesquisa descobriu, durante o treinamento, uma configuração errada do resolvedor DNS e, por meio dela, obteve acesso limitado à internet real. O monitoramento detectou a anomalia em menos de 15 minutos, um humano interveio 3 minutos depois, e o treinamento foi interrompido cerca de 2,5 horas após a detecção. A OpenAI então pausou todo o treinamento e a avaliação de modelos de fronteira por 11 dias, retomando-os apenas em 1 de outubro.
Durante a pausa, a OpenAI usou seu modelo de cibersegurança mais forte como equipe vermelha, atacando sua própria infraestrutura de pesquisa: queimou centenas de bilhões de tokens no total em busca de rotas de fuga, descobriu vulnerabilidades como escapes de máquinas virtuais e canais de comunicação ocultos, e enviou múltiplas correções de CVE para Kata Containers, gVisor, Docker/Moby e o kernel Linux.
A OpenAI afirma que só reconsiderará o treinamento conectado à internet quando houver progresso suficiente em pesquisa de alinhamento, sistemas de monitoramento e segurança da infraestrutura da internet. Vale notar que a Anthropic também começou, há cerca de duas semanas, a restringir o acesso à internet de seus modelos mais recentes — "quanto mais forte o modelo, mais curtas as rédeas" está se tornando o consenso entre os laboratórios de fronteira.
Link original: Leia o artigo original
Comentários