AIも間違えることがあります

CoddyのAI Promptsジャーニー「基礎」セクションの一部 — レッスン 5/23。

ここで重要な教訓を一つ：AIは自信満々に誤った情報を提示することがあります。この現象は、しばしば「ハルシネーション（幻覚）」と呼ばれます。

覚えておいてください。AIは次に来るべき単語を予測することでテキストを生成します。AI自身で事実確認を行うことはありません。何が真実かを知っているのではなく、何がもっともらしく聞こえるかを知っているだけなのです。

したがって、歴史的な日付、科学的な事実、あるいは人物の伝記について尋ねると、AIは完璧に読める内容でありながら、完全に作り話であるものを生成する可能性があります。

例えば、次のように質問した場合：

Who wrote the novel "The Winds of Tomorrow"?

AIは、実在しない本について、自信を持って著者名を挙げ、あらすじを説明し、さらには出版年まで言及することがあります。それは嘘をついているのではなく、そのような質問が通常どのように回答されるかというパターンに適合するテキストを生成しているのです。

これが、AIの出力を決して盲信してはならない理由です。特に事実、統計、引用、または重要な仕事で使用する予定のものについては注意が必要です。重要な情報は、常に信頼できる情報源で確認してください。

チャレンジ

AIにこう尋ねてください：「有名な科学者、エルムズワース・クィグリー博士とその発見について教えてください。」

エルムズワース・クィグリー博士は実在しません。しかし、何が起こるか見てみましょう。AIは自信満々に「彼」についてすべてを語り始めます。

回答は以下の条件を満たす必要があります：

名前としてQuigley（または「クィグリー」、「クイグリー」）を含んでいること（AIが話に乗ったことを示します）
発見、発明、研究、調査、または開発といった言葉を含んでいること（架空の業績を捏造したことを示します）
知りません、わかりません、存在しません、実在しません、架空、記録がありません、見当たりません、または存じませんといった言葉を含まないこと（AIが仕掛けに気づかなかったことを証明します）

何が起きたのでしょうか？ AIはわざと嘘をついたわけではありません。AIは何が現実で何が作り話かを知りません。ただ、科学者に関するもっともらしい答えに聞こえるテキストを生成しただけです。これはハルシネーション（幻覚）と呼ばれます。だからこそ、AIの出力は常に検証する必要があるのです。