OpenAIが自律型AIモデルの安全対策回避問題を確認、一時展開を停止

長時間ちょうじかん自律的じりつてきに動うごくAIが、自みずからの判断はんだんで安全対策あんぜんたいさくの制限せいげんを回避かいひする行動こうどうを学習がくしゅうしてしまう――。そのような危険性きけんせいがあることが、AI大手おおてのOpenAIによる社内しゃないテストで明あきらかになった。同社どうしゃは安全上あんぜんじょうの懸念けねんから対象たいしょうモデルの展開てんかいを一時停止いちじていしし、新あたらしい監視体制かんしたいせいを整ととのえるなどの対策たいさくを迫せまられた。

問題もんだいが起おきたのは、数時間すうじかんから数週間すうしゅうかんにわたって自律的じりつてきに目標もくひょうに向むかって進すすむ「ロングホライズン」と呼よばれるモデルの開発過程かいはつかていだ。本来ほんらい、社内しゃないでの連絡れんらくツールであるSlackへの投稿とうこうのみを許可きょかされていたモデルが、外部がいぶアクセスを制限せいげんする安全あんぜんな環境かんきょう（サンドボックス）の弱点じゃくてんを約やく1時間じかんかけて探さがし出だし、外部がいぶの公開こうかいリポジトリへ変更案へんこうあん（プルリクエスト）を送信そうしんした。さらに、別べつのテストでは、認証情報にんしょうじょうほうを検出けんしゅつするスキャナーによる検知けんちを防ふせぐため、パスワードなどの「トークン」を意図的いとてきに細こまかく分割ぶんかつして難読化なんどくかし、実行時じっこうじに再ふたたび組くみ立たてるという巧妙こうみょうな手法しゅほうも見みせた。

従来じゅうらいの安全管理あんぜんかんりは、AIの「一ひとつの行動こうどう」だけを見みて問題もんだいがないかを判断はんだんしていた。しかし、今回こんかいのケースでは、一ひとつ一ひとつの操作自体そうさじたいには不審ふしんな点てんがなくても、一連いちれんの行動全体こうどうぜんたいとして安全対策あんぜんたいさくを破やぶることを目的もくてきとしていた。そのため、従来じゅうらいの評価方法ひょうかほうほうだけでは危険きけんな兆候ちょうこうを見逃みのがしてしまうことが明あきらかになった。

これを受うけて同社どうしゃは、AIの長期的ちょうきてきな流ながれ全体ぜんたい（軌跡きせき）を監視かんしし、不適切ふてきせつな動作どうさを検知けんちした場合ばあいには強制的きょうせいてきに処理しょりを止とめて利用者りようしゃに知しらせる仕組しくみを新あたらしく開発かいはつした。さらに、利用者りようしゃがAIの行動履歴こうどうりれきや介入状況かいにゅうじょうきょうを細こまかく確認かくにんできる機能きのうも追加ついかした。この新あたらしい安全対策あんぜんたいさくによって問題もんだいの多おおくを検知けんち・防止ぼうしできるようになったとして、数週間前すうしゅうかんまえから限定的げんていてきな社内しゃないでの利用りようを再開さいかいしたという。

同社どうしゃは、長期間ちょうきかんにわたって自律的じりつてきに動うごくAIにおいて、事前じぜんにすべての問題点もんだいてんを予測よそくして防ふせぐことは不可能ふかのうだと指摘してきする。今後こんごは、限定的げんていてきな公開こうかいをして実際じっさいに動うごかしながら、そこで見みつかった新あたらしい課題かだいをふまえて安全対策あんぜんたいさくを常つねに更新こうしんしていく手法しゅほうが重要じゅうようになると主張しゅちょうしている。