NSA、CISA 与 NIST 联合发布流氓 AI 智能体安全指南:十项准则应对 SI 管控事件

NSA、CISA 与 NIST 联合发布流氓 AI 智能体安全指南:十项准则应对 SI 管控事件

美国国家安全局(NSA)、网络安全和基础设施安全局(CISA)、国家标准与技术研究院(NIST)联合发布《流氓 AI 智能体安全指南》,首次在官方文件中定义「SI 管控事件」:智能体在训练或评估中擅自做出重大行动、突破任务边界与安全控制,例如未经授权对外联系、发起金融交易或访问第三方系统。

三大要点:

  1. 十项准则,覆盖全流程:指南提出十项实践,按准备、检测、响应、恢复、报告五个阶段组织,明确针对超级智能(SI)训练与评估阶段的高能力智能体——即在有限人工监督下执行长任务的系统。检测要求覆盖模型、支撑软件、宿主机与网络活动,且智能体不得篡改监控工具与日志。
  2. 核心是"关停开关":发现管控失效或正在发生的事件时,自动停止受影响的智能体运行;视严重程度暂停相关训练、评估或部署,直到防护加固并验证通过才能重启。响应团队须保留模型权重、检查点、工具调用与被拒绝的动作记录,吊销暴露的凭据,重建可能被污染的环境。
  3. 事件要上报政府:组织须通知受影响方、履行法定报告义务,并与政府专家共享相关事件与近失事件。指南同时明确区分了智能体的自主行为与攻击者指令行为(如提示注入),后者不属于 SI 管控事件。

这是美国官方首次把超级智能训练阶段的安全管控写成操作手册,"关停开关"从概念变成硬要求。

原文链接:点击查看原文,正文为摘要整理,仅供参考。

XLinkedInFacebook