人工知能(AI)の能力向上スピードが急速に高まる中、米アンソロピックのダリオ・アモデイ最高経営責任者(CEO)は9月12日、AIモデルの開発ペースそのものを抑制する必要があるとするエッセイを発表した。これまで同社は、慎重な開発と商業的な成功を両立させながら安全性を競う姿勢を示してきたが、AIが次世代のAIを開発する「再帰的自己改善」の動きや、他社製品を巡るセキュリティインシデントの発生を受け、リスク防止策が追いつくよう能力向上の速度を調整すべきだと方針を転換した。
アモデイ氏が示した3段階の計画では、第1段階として第三者機関の専門チームを「常駐評価者」として社内に招き、従業員と同等の権限を与えて安全基準の順守状況や訓練プロセスを継続的に検証させる取り組みを掲げている。さらに第2段階では民主主義国の主要AI企業による共通の安全基準と速度制限の協調、第3段階では権威主義国も含むグローバルな協調を目指す。ただし、民主主義国内でのペース調整は米国が対中国で保持する技術的リードの範囲内に限られるとし、半導体関連の規制や技術流出防止策が前提になると位置づけられている。
この提言に対し、米オープンAIのサム・アルトマンCEOが同様の独立評価者の受け入れに同意したほか、イーロン・マスク氏やハギングフェイスのクレマン・ドラングCEOら業界の幹部も相次いで賛同や支援の意向を表明した。一方で、アンソロピック社内ではエッセイ公開の直前に研究者の退職や懸念の投稿が相次いでおり、AIが人間の制御を上回るリスクへの危機感から、開発企業全体に対してより責任ある行動と厳格な減速を求める声が根強く存在している。
なお、アモデイ氏は今回の提案について、AIの訓練や技術的進歩を完全に停止させることではなく、アライメント(目的の整合)や検証に十分な時間を確保するための運用上の調整であると強調している。過去の実験モデルとは異なり、現在のモデルはリスク検証に必要なデータが豊富に揃っているため、1年から2年の猶予を活用して安全対策を練り上げることが可能だとしている。