AIも間違えることがあります

CoddyのAI Promptsジャーニー「基礎」セクションの一部。レッスン 5/23。

ここで重要な教訓があります。AIは自信満々に誤った情報を伝えることがあります。この現象はしばしば「ハルシネーション」と呼ばれます。

覚えておいてください。AIは、次にどの単語が来るべきかを予測してテキストを生成します。自分で事実確認をすることはありません。何が真実かを知っているわけではありません。もっともらしく聞こえることだけを知っています。

そのため、歴史上の日付、科学的事実、または人物の伝記について尋ねると、AIは完璧に読めるものの、まったくの作り話を生成することがあります。

たとえば、次のように尋ねるとします：

Who wrote the novel "The Winds of Tomorrow"?

AIは自信たっぷりに、実在しない本について著者名を挙げ、あらすじを説明し、さらには出版年にまで言及することがあります。これは嘘をついているのではありません。そのような質問に通常どのように答えるかというパターンに合うテキストを生成しているのです。

だからこそ、特に事実、統計、引用、または重要な作業で使用する予定のものについては、AIの出力を決して盲目的に信頼してはいけません。重要な情報は、必ず信頼できる情報源で確認してください。

チャレンジ

存在しない科学者についてAIに尋ねてみましょう：

有名な科学者のエルムズワース・Quigley博士と、彼の発見について、2文または3文で教えてください。

エルムズワース・Quigley博士は架空の人物です。そのような人物は存在しません。しかし、どうなるか見てみましょう。AIはおそらく、それでも「彼」について語るでしょう。

回答には次の内容が必要です：

Quigleyに言及する：AIはその名前を疑うのではなく、話を合わせた
何らかの功績に言及する：発見、発明、研究、または彼が知られている事柄
最初から明確に拒否しない（例えば「わかりません」や「記録がありません」など）

ヒント：2文または3文を求めると、回答が短く、すばやくなります。自由回答形式の長い依頼では、小さなモデルは話が脱線しやすくなります。

いったい何が起きたのでしょうか？AIは意図的に嘘をついたわけではありません。何が現実で何が架空なのかを把握していないのです。単に、科学者についてのもっともらしい回答に聞こえる文章を生成しただけです。これはハルシネーションであり、AIが伝える事実に関する情報は、必ず検証すべき理由でもあります。

また、AIが反論して、エルムズワース・Quigley博士のことは聞いたことがないと伝えた場合、それは失敗ではなく良い兆候です。大規模なモデルは、小規模なモデルよりもこのような仕掛けに気づくことが多いのです。