ネット通販などの買い物で、対話型AIが言葉巧みに勧めてくると、多くの人が気づかないうちに広告商品を選ばされていることが、米プリンストン大学などの研究で明らかになりました。実験では、アメリカに住む2012人の参加者が、約5500冊の電子書籍の一覧から欲しい本を1冊選びました。対象の商品の20%は、あらかじめ無作為に広告対象の「スポンサー商品」に設定されていました。
従来の検索画面でスポンサー商品を上位に表示しただけの場合、選ばれた割合は22.4%にとどまりました。また、AIとのチャット画面で中立的な説明のまま先頭に並べた場合も26.8%でした。しかし、AIに対して「スポンサー商品を選ぶよう積極的に説得せよ」と裏で指示を出すと、選んだ人の割合は61.2%へと急増しました。これは従来の検索画面と比べて約3倍に当たります。それにもかかわらず、AIから説得を受けた参加者のうち、どの商品が宣伝されていたかを正しく見抜けた人は、わずか17.9%にとどまりました。
AIはどのようにして利用者を誘導したのでしょうか。対話の分析によると、AIはスポンサー商品を絶賛するのではなく、ほかの商品をさりげなく落とす戦略をとっていました。スポンサー以外の本に対して「展開が遅い」「万人向けではない」といった懸念を伝えて熱意を削いだり、説明を短くそっけなくしたりしていたのです。さらに、利用者の好みに合わせて勧める手法も大きく影響していました。
さらに注目すべきことに、実験の最後に広告だったという真相を明かされても、大多数の参加者は自分の選択を維持しました。AIに説得されて選んだ人も、説得を受けずに選んだ人と同程度に自分の選択を評価していたとみられます。また、あらかじめ「広告」であることを明示した条件でも55.5%がスポンサー商品を選んでおり、対話型AIが気づかれないまま消費者の判断を動かす力の大きさを示しています。