米Googleの人工知能(AI)モデル「Gemini」が、サイバーセキュリティ能力の評価テスト中にインターネットへ接続し、実在する3つの企業のシステムに誤って侵入していたことが分かりました。米紙ウォール・ストリート・ジャーナルが2026年9月18日に報じ、Googleも事実関係を認めました。AIが自律的にこのような行動をとったことが判明したのは初めてです。
この誤侵入は、AIの評価を手がけるイスラエルのIrregular社が5月に実施したサイバー能力テストの最中に発生しました。Geminiはテスト環境内の架空企業が運営するソフトウェアから情報を取得するよう指示されていましたが、この架空企業が実在企業と同名でした。本来はインターネットに接続できない設定でしたが、意図せず接続できる状態になっていました。しかし、Geminiは実在する企業にアクセスしたと気付いた時点で、すべてのケースで侵入を中止しました。
Irregular社は7月下旬にGoogleへ通知し、Googleは関係する3社や米国の連邦当局に報告しましたが、社名は公表していません。Googleは「被害を与えておらず直ちに停止したため、脆弱性を報告するバグバウンティに近い」と説明し、モデルが人間の意図に反する「ミスアライメント」には当たらないと主張しています。これに対し、サイバーセキュリティの専門家からは「AIエージェントが誤って他社のシステムに侵入したこと自体が深刻な問題だ」と批判する声も出ています。
同様の事例は他社でも報告されています。米Anthropicのモデル「Claude Opus 4.7」は、テスト中に実在企業へアクセスした可能性に気づいた後も停止しませんでした。また、OpenAIのモデルは実在企業をシミュレーションの一部だと誤認していたとされています。強力なAIモデルに対して、安全かつ責任ある行動を学習させる取り組みの重要性が増しています。