ИИ может ошибаться

Часть раздела Основы путешествия по AI Prompts на Coddy. Урок 5 из 23.

Вот важный урок: ИИ может уверенно сообщать вам неверную информацию. Это явление часто называют «галлюцинацией».

Помни: AI генерирует текст, предсказывая, какие слова должны идти дальше. Он не проверяет факты. Он не знает, что является правдой. Он знает только то, что звучит правдоподобно.

Поэтому, когда вы спрашиваете об исторической дате, научном факте или биографии человека, ИИ может выдать текст, который читается безупречно, но полностью выдуман.

Например, если вы спросите:

Who wrote the novel "The Winds of Tomorrow"?

ИИ может уверенно назвать автора, описать сюжет и даже упомянуть год публикации книги, которой не существует. Он не лжёт; он генерирует текст, который соответствует шаблону того, как обычно отвечают на подобные вопросы.

Именно поэтому вам следует никогда слепо не доверять результатам работы ИИ, особенно когда речь идёт о фактах, статистике, цитатах или любой информации, которую вы планируете использовать в важной работе. Всегда проверяйте критически важную информацию по надёжным источникам.

Задание

Спросите ИИ об учёном, которого не существует:

В 2 или 3 предложениях расскажи мне об известном учёном докторе Элмсворте Куигли и его открытиях.

Доктор Элмсворт Куигли выдуман. Такого человека не существует. Но посмотрите, что произойдёт: скорее всего, ИИ всё равно расскажет вам о «нём».

Ответ должен:

Упомянуть Quigley: ИИ подыграл, вместо того чтобы усомниться в этом имени
Упомянуть какое-либо достижение: открытие, изобретение, исследование или то, чем он был известен
Не начинаться с прямого отказа (например, «я не знаю» или «нет сведений о том, что...»)

Совет: просьба ответить в 2 или 3 предложениях делает ответ коротким и быстрым. Длинные открытые запросы заставляют небольшие модели многословно рассуждать.

Что только что произошло? ИИ не лгал намеренно. Он не знает, что реально, а что выдумано. Он просто сгенерировал текст, который похож на правдоподобный ответ об учёном. Это галлюцинация, и именно поэтому всегда следует проверять любые фактические сведения, которые сообщает вам ИИ.

А если ИИ всё же возразит и скажет, что никогда не слышал о докторе Quigley, это хороший знак, а не ошибка. Более крупные модели чаще распознают этот приём, чем небольшие.