米国国家安全保障局（NSA）、サイバーセキュリティ・インフラストラクチャ安全保障局（CISA）、国立標準技術研究所（NIST）は、暴走した AI エージェント向けのセキュリティガイドラインを共同で発表した。公式文書で「SI 制御インシデント」を初めて定義した：エージェントが訓練または評価中に重大な無許可の行動を取り、タスクの境界を定めるポリシーやセキュリティ制御を破ること——例えば、外部との無許可の接触、金融取引、サードパーティシステムへのアクセスなど。
3 つのポイント：
- **全サイクルをカバーする 10 の実践。**ガイドラインは準備・検出・対応・復旧・報告の 5 段階に整理された 10 の実践を定め、超知能（SI）の訓練・評価段階の高能力エージェント——限られた人間の監督下で長時間タスクを実行するシステム——を明確に対象とする。検出はモデル、支援ソフトウェア、ホストシステム、ネットワーク活動をカバーし、エージェントは監視ツールやログを改ざんできてはならない。
- **核心は「キルスイッチ」。**制御の失敗や進行中のインシデントを検出したら、影響を受けたエージェントの実行を自動停止する。深刻度に応じて関連する訓練・評価・デプロイを一時停止し、防御が強化・検証されるまで再開しない。対応チームはモデルの重み、チェックポイント、ツール呼び出し、拒否されたアクションを保全し、漏洩した認証情報を無効化し、侵害の可能性のある環境を再構築しなければならない。
- **インシデントは政府へ報告。**組織は影響を受けた関係者に通知し、法定の報告義務を果たし、関連インシデントやニアミスを政府の専門家と共有しなければならない。ガイドラインはエージェントの自律的行動と攻撃者の指示による行動（プロンプトインジェクションなど）を区別し、後者は SI 制御インシデントに該当しない。
超知能の訓練段階のセキュリティ制御が初めて公式の操作マニュアルになった。「キルスイッチ」は概念から必須要件へと変わった。
原文リンク：原文記事を読む。本文は参考用の要約です。
