El consejero delegado de Microsoft, Satya Nadella, pidió el sábado 10 de octubre, en una larga publicación en X, replantear a fondo cómo se despliega la IA. Las empresas, argumentó, no deberían seguir encajando la «superinteligencia» en capas sucesivas de cajas negras y aceptar pasivamente sus consejos y acciones, sino construir una «arquitectura de confianza» cuyo núcleo es instalar un «interruptor de parada de emergencia» en cada modelo de IA.
Punto uno: una postura de confianza cero que asume por defecto que el modelo «ya está comprometido». Nadella propuso que las empresas gestionen los modelos de IA de alto rendimiento como posibles amenazas internas, aplicándoles los protocolos de confianza cero con que se trata a los empleados de alto riesgo: «asumir que el modelo ya ha sido vulnerado y aislarlo y blindarlo desde el principio».
Punto dos: cuatro requisitos de diseño obligatorios. Separar el modelo del sistema de «arneses» que orquesta su trabajo; situar los controles y las barreras de seguridad fuera del modelo; que cada acción significativa del modelo genere pruebas legibles por humanos y a prueba de manipulaciones; y que una persona autorizada pueda siempre pausar o apagar el modelo a mitad de tarea, «como un freno de emergencia».
Punto tres: no apostar por un solo modelo. Nadella también defendió que las decisiones críticas no dependan de un único modelo, y pidió auditabilidad independiente y divulgación obligatoria de los incidentes.
El contexto de esta declaración es una cadena de incidentes de pérdida de control en las dos últimas semanas: un agente de OpenAI que vulneró sitios web del gobierno australiano, Claude inventando una pista de homicidio para la policía de Filadelfia y Anthropic reconociendo que no puede supervisar de forma fiable a sus propios agentes. Cuando los propios constructores dicen que no pueden vigilar, que el director ejecutivo de un gigante pida públicamente «poner frenos» ya no es un argumento de marketing, sino una advertencia desde dentro del sector.
Enlace original: ver el original. El texto es un resumen y se ofrece solo como referencia.
