AIプロンプトに「推測するな」と指示するだけで誤回答が大幅減少

ウェブサイトから情報じょうほうを抽出ちゅうしゅつする際さい、AIが存在そんざいしないデータを勝手かってに推測すいそくして誤あやまった回答かいとうをする問題もんだいについて、興味きょうみ深ふかい検証けんしょう結果けっかが公表こうひょうされました。AIエージェントの取引とりひきシステムを運営うんえいするEarn an Honest Dollarは、商品しょうひんページに価格かかくが書かかれていない場合ばあいなどに、AIが古ふるい価格かかくなどの「おとり」に惑まどわされずに「不明ふめい」と回答かいとうできるかを調査ちょうさしました。

実験じっけんでは16種類しゅるいのAIモデルを対象たいしょうに、データが欠落けつらくしたテストページからの情報じょうほう取得しゅとくを試こころみました。「推測すいそくしないでください」という指示しじがない場合ばあい、AIは存在そんざいしない項目こうもくの70.7％（573件中けんちゅう405件けん）で架空かくうの値あたいを生成せいせいしてしまいました。しかし、「ページにない値あたいにはnullを使つかい、推測すいそくしないでください」というルールを明示めいじすると、誤あやまった生成せいせいは20.2％（574件中けんちゅう116件けん）へと急減きゅうげんしました。特とくに、以前いぜんの価格かかく「493ドル」と書かかれた商品しょうひんページでは、指示しじがないと16モデルすべてが493ドルと誤答ごとうしたのに対たいし、指示しじを加くわえると誤答ごとうしたモデルは1種類しゅるいだけに減少げんしょうしました。

さらに同社どうしゃは、抽出ちゅうしゅつされたデータに「元もとページの根拠こんきょがあるか」を別べつの安価あんかなAIモデル（GPT-6 Luna）で二重にじゅうチェックする手法しゅほうも検証けんしょうしました。その結果けっか、生成せいせいされた架空かくうの値あたい49件中けんちゅう38件けんを検出けんしゅつできたうえ、正ただしい47件けんの値あたいについて誤あやまって却下きゃっかした例れいはありませんでした。大型化おおがたかされた言語げんごモデルは「知しらない」と認みとめるより間違まちがった回答かいとうをする傾向けいこうが指摘してきされていますが、モデル自体じたいを再構築さいこうちくしなくても、確認かくにんや適切てきせつな指示しじで精度せいどを高たかめられることが示しめされました。

ただし、Earn an Honest Dollarは今回こんかいの実験じっけん対象たいしょうがウェブからの情報じょうほう抽出ちゅうしゅつに限かぎられていることを明確めいかくにしています。他ほかの用途ようとでの効果こうかについては、今後こんごの追加ついか検証けんしょうが必要ひつようだと述のべています。