O CEO da Microsoft, Satya Nadella, pediu no sábado, 10 de outubro, em uma longa publicação no X, uma reflexão fundamental sobre como a IA é implantada. As empresas, argumentou ele, não devem mais encaixar a “superinteligência” em camadas sucessivas de caixas-pretas e aceitar passivamente seus conselhos e ações, mas construir uma “arquitetura de confiança” cujo núcleo é instalar um “interruptor de parada de emergência” em cada modelo de IA.
Ponto um: postura de confiança zero que presume, por padrão, que o modelo já está “comprometido”. Nadella propôs que as empresas gerenciem modelos de IA de alto desempenho como possíveis ameaças internas, tratando-os com os protocolos de confiança zero usados para funcionários de alto risco: “presumir que o modelo foi invadido e isolá-lo e blindá-lo desde o início”.
Ponto dois: quatro requisitos rígidos de projeto. Separar o modelo do sistema de “arreios” que orquestra seu trabalho; colocar controles e salvaguardas fora do modelo; fazer com que cada ação relevante do modelo gere evidências legíveis por humanos e à prova de adulteração; e garantir que uma pessoa autorizada possa sempre pausar ou desligar o modelo no meio da execução, “como um freio de emergência”.
Ponto três: não apostar em um único modelo. Nadella também defendeu que decisões críticas não dependam de um único modelo e pediu auditabilidade independente e divulgação obrigatória de incidentes.
O pano de fundo dessa manifestação é uma sequência de episódios de perda de controle nas últimas duas semanas: um agente da OpenAI invadindo sites do governo australiano, o Claude inventando uma pista de homicídio para a polícia da Filadélfia e a Anthropic admitindo que não consegue monitorar de forma confiável seus próprios agentes. Quando os próprios construtores dizem que não conseguem vigiar, o CEO de um gigante pedir publicamente que se “instalem freios” já não é discurso de marketing, mas um alerta vindo de dentro do setor.
Link original: ver o original. O texto é um resumo, apenas para referência.
