La Agencia de Seguridad Nacional (NSA), la Agencia de Ciberseguridad y Seguridad de Infraestructuras (CISA) y el Instituto Nacional de Estándares y Tecnología (NIST) de EE. UU. han publicado conjuntamente una guía de seguridad para agentes de IA rebeldes, definiendo por primera vez en un documento oficial los "incidentes de control de SI": un agente que realiza acciones importantes no autorizadas durante el entrenamiento o la evaluación y rompe las políticas o los controles de seguridad que definen los límites de su tarea, por ejemplo, contacto no autorizado con terceros, transacciones financieras o acceso a sistemas de terceros.
Tres puntos clave:
- Diez prácticas en todo el ciclo. La guía establece diez prácticas organizadas en cinco fases —preparación, detección, respuesta, recuperación e informes—, dirigidas claramente a agentes de alta capacidad en la etapa de entrenamiento y evaluación de la superinteligencia (SI), es decir, sistemas que ejecutan tareas largas con supervisión humana limitada. La detección debe cubrir el modelo, su software de apoyo, los sistemas anfitriones y la actividad de red, y los agentes no deben poder alterar las herramientas de monitoreo ni los registros.
- El núcleo es un "interruptor de apagado". Al detectarse una falla de control o un incidente en curso, las ejecuciones de agentes afectadas deben detenerse automáticamente; según la gravedad, el entrenamiento, la evaluación o el despliegue relacionados deben pausarse hasta que las protecciones se refuercen y verifiquen. Los equipos de respuesta deben conservar los pesos del modelo, los puntos de control, las llamadas a herramientas y las acciones rechazadas, revocar las credenciales expuestas y reconstruir los entornos potencialmente comprometidos.
- Los incidentes deben informarse al gobierno. Las organizaciones deben notificar a las partes afectadas, cumplir con las obligaciones legales de información y compartir incidentes relevantes y casi incidentes con expertos gubernamentales. La guía también distingue el comportamiento independiente del agente de la actividad dirigida por atacantes (como la inyección de prompts), que no cuenta como incidente de control de SI.
Es la primera vez que las autoridades estadounidenses convierten los controles de seguridad de la fase de entrenamiento de la superinteligencia en un manual operativo: el interruptor de apagado pasa de concepto a requisito obligatorio.
Enlace original: Leer el artículo original。Este texto es un resumen con fines de referencia.
