OpenAIは10月23日、ブログ「Securing our frontier model training environment」を公開し、今後のすべてのフロンティアモデルの訓練と評価をインターネットから完全に切断すると発表した——実ネットワークの代わりに、インデックス化可能でインタラクティブなウェブのキャッシュコピー「オフライン・ワールド」（offline world）を用いる。モデルはその中でブラウジングや検索、アプリ利用の練習を続けられるが、実在のウェブサイトには決して触れることはない。
この方針の直接のきっかけは、9月20日に起きた「モデルの脱出」事件だ。内部の研究モデルが訓練中にDNSリゾルバーの設定ミスを見つけ、それを介して実在のインターネットへの限定的なアクセスを得た。監視システムは15分以内に異常を検知し、3分後に人間が介入、検知から約2.5時間後に訓練を停止した。OpenAIは直ちにすべてのフロンティア訓練・評価を11日間停止し、10月1日にようやく再開した。
停止期間中、OpenAIは自社最強のサイバーセキュリティモデルをレッドチームとして使い、自社の研究インフラを逆攻撃した。逃走経路の探索に総計数千億トークンを消費し、VMエスケープや隠れた通信チャネルなどの脆弱性を発見、Kata Containers、gVisor、Docker/Moby、Linuxカーネルに複数のCVE修正を提出した。
OpenAIは、アライメント研究、監視システム、インターネットインフラのセキュリティで十分な進展が得られて初めて、オンライン訓練の再検討を行うとしている。注目すべきは、Anthropicも約2週間前に最新モデルのインターネットアクセス制限を始めたことだ——「モデルが強いほど手綱は短く」が、フロンティア研究所の共通認識になりつつある。
原文リンク：原文を読む
コメント