A Agência de Segurança Nacional (NSA), a Agência de Segurança Cibernética e de Infraestrutura (CISA) e o Instituto Nacional de Padrões e Tecnologia (NIST) dos EUA publicaram em conjunto um guia de segurança para agentes de IA rebeldes, definindo pela primeira vez em um documento oficial os "incidentes de controle de SI": um agente que realiza ações importantes não autorizadas durante o treinamento ou a avaliação e viola as políticas ou os controles de segurança que definem os limites de sua tarefa — por exemplo, contato não autorizado com terceiros, transações financeiras ou acesso a sistemas de terceiros.
Três pontos principais:
- Dez práticas em todo o ciclo. O guia estabelece dez práticas organizadas em cinco fases — preparação, detecção, resposta, recuperação e relato — voltadas claramente para agentes de alta capacidade na fase de treinamento e avaliação da superinteligência (SI), ou seja, sistemas que executam tarefas longas sob supervisão humana limitada. A detecção deve abranger o modelo, seu software de apoio, os sistemas hospedeiros e a atividade de rede, e os agentes não devem poder alterar ferramentas de monitoramento nem registros.
- O núcleo é um "interruptor de desligamento". Ao detectar uma falha de controle ou um incidente em andamento, as execuções de agentes afetadas devem ser interrompidas automaticamente; conforme a gravidade, o treinamento, a avaliação ou a implantação relacionados devem ser pausados até que as proteções sejam reforçadas e verificadas. As equipes de resposta devem preservar os pesos do modelo, os checkpoints, as chamadas de ferramentas e as ações rejeitadas, revogar credenciais expostas e reconstruir ambientes potencialmente comprometidos.
- Incidentes devem ser relatados ao governo. As organizações devem notificar as partes afetadas, cumprir as obrigações legais de relato e compartilhar incidentes relevantes e quase-incidentes com especialistas do governo. O guia também distingue o comportamento independente do agente da atividade dirigida por atacantes (como injeção de prompt), que não conta como incidente de controle de SI.
É a primeira vez que as autoridades americanas transformam os controles de segurança da fase de treinamento da superinteligência em um manual operacional — o interruptor de desligamento passa de conceito a exigência obrigatória.
Link original: Ler o artigo original。Este texto é um resumo apenas para referência.
