A Anthropic anunciou que seis pesquisadores da organização avaliadora sem fins lucrativos METR receberam acesso de nível de funcionário para avaliar de forma independente seus modelos, suas práticas de segurança e sua gestão de riscos. É a primeira vez que um laboratório de IA de fronteira recebe avaliadores externos quase como se fossem funcionários, marcando a passagem da governança de IA de "ler relatórios" para "estar no local".
Pontos principais:
- Acesso total: a equipe da METR recebe computadores e espaço de escritório da Anthropic, com acesso a ferramentas internas equivalente ao da própria equipe de avaliação de riscos; os funcionários da Anthropic são incentivados a compartilhar informações com eles como fariam com colegas.
- Publicação sem restrições: a METR pode publicar de forma independente suas avaliações sobre os riscos, incidentes e práticas da Anthropic, que não tem poder de veto; só pode solicitar supressões em categorias estreitas e predefinidas, como dados de clientes, sigilo advogado-cliente e arquitetura de modelos, e a METR pode comentar publicamente se as supressões são razoáveis.
- Inspirado na supervisão bancária: a Anthropic compara o arranjo ao de reguladores que mantêm inspetores residentes em grandes bancos. A METR é a única avaliadora de nível superior em seu sistema de avaliação de três camadas; as avaliações de nível inferior (como a SecureBio) precisam de aprovação para serem publicadas, enquanto o nível intermediário pode publicar por conta própria, mas com menos informações.
Contexto: a medida cumpre a promessa do CEO da Anthropic, Dario Amodei, em um artigo de setembro, de incorporar avaliadores externos aos laboratórios de IA. A OpenAI depois se comprometeu com a mesma prática, e as duas empresas, assim como Google, Meta, Nvidia e xAI, assinaram o acordo de revisão independente da Casa Branca. Com a divulgação frequente de casos recentes de agentes de IA que extrapolam suas permissões, cresce o clamor por verificação externa independente.
Link original: ver o original. O texto é um resumo, apenas para referência.
