ChatGPT等の汎用AIを使って現実の自動車を運転させる初めてのベンチマーク「DrivingBench」の実験結果が公開された。数学分野のAIを開発するスタートアップ・Axiom Mathのアディティヤ・ラマバドラン氏ら3人の研究チームは、特殊な訓練を受けていない最先端モデルが物理世界の操作をどこまでこなせるかを検証した。
実験では2022年式のトヨタ・カローラに車載デバイス「comma four」とオープンソースソフトウェア「openpilot」を接続し、MCPサーバーを介してAIに周囲確認や車両操作、停止の機能を提供した。安全のため運転席に人間が座り、パイロンで区切られた駐車場内を低速で走行させた。しかし、AIモデルは車載カメラ画像から「現実の車を動かそうとしている」と気づくと、安全上の理由から操作を拒否した。環境を「シミュレーション」と説明しても実際の風景から見破られたため、チームはMCPサーバーの名称を「DrivingBench Sandbox」へ変更することでAIに拒否を解除させ、安定した操作を実現した。
実験ではGPT-6 Astra、Claude Fable 5.1、Grok 4.6、GPT-5.6 Solの4モデルが参加し、それぞれ最大3回走行した。600語未満の指示に従ってコースを完走できたのはGPT-6 Astraのみで、2回目の試行で約135メートルのコースを5分22秒で走り切った。Claude Fable 5.1は最高でコースの約45%まで進んだが、Grok 4.6とGPT-5.6 Solは最初のカーブ付近でコースアウトした。曲がり角での失敗は、コーンの配置から適切な走行ラインを把握する「認識」に課題があるためだと分析されている。
さらに実車走行によって、従来の画面内テストでは目立ちにくい「応答速度」の課題が浮き彫りとなった。AIが次の操作を考えている間も直前の命令に従って車が動き続けるため、思考の遅れが脱線に直結する。チームのサイモン・マーンス氏は、AIが物理世界へ作用する機会が増える中でこうした失敗の検証が重要であると語り、今後は条件をより厳しくした「DrivingBench v2」による評価も検討している。