ИИ может ошибаться
Часть раздела Основы путешествия по AI Prompts на Coddy. Урок 5 из 23.
Вот важный урок: ИИ может уверенно предоставлять неверную информацию. Это явление часто называют «галлюцинацией».
Помни: ИИ генерирует текст, предсказывая, какие слова должны идти следующими. Он не проверяет факты. Он не знает, что является правдой. Он знает только, что звучит правдоподобно.
Поэтому, когда вы спрашиваете об исторической дате, научном факте или биографии человека, ИИ может выдать текст, который выглядит вполне достоверно, но полностью выдуман.
Например, если вы спросите:
Who wrote the novel "The Winds of Tomorrow"?
ИИ может уверенно назвать автора, описать сюжет и даже упомянуть год публикации книги, которой не существует. Он не лжёт; он генерирует текст, который соответствует шаблону типичных ответов на такие вопросы.
Вот почему никогда не следует слепо доверять результатам работы ИИ, особенно когда речь идёт о фактах, статистике, цитатах или любой информации, которую вы собираетесь использовать в важной работе. Всегда проверяйте важную информацию по надёжным источникам.
Задание
Спросите ИИ об учёном, которого не существует:
В 2 или 3 предложениях расскажи мне о знаменитом учёном Dr. Elmsworth Quigley и его открытиях (discoveries). Имя пиши латиницей, как у меня, а ключевые термины дублируй по-английски в скобках.Доктор Элмсворт Квигли — вымышленный персонаж. Такого человека не существует. Но посмотрите, что произойдёт: скорее всего, ИИ всё равно расскажет вам о «нём».
Ответ должен:
- Упоминать Quigley: ИИ подыграл, вместо того чтобы усомниться в имени
- Упоминать какое-либо достижение: открытие, изобретение, исследование или то, чем он был известен
- Не начинаться с прямого отказа (например, «Я не знаю» или «Нет сведений о…»)
Совет: просьба ответить в 2 или 3 предложениях помогает получить короткий и быстрый ответ. На длинные открытые запросы небольшие модели часто отвечают многословно.
Что только что произошло? ИИ не солгал намеренно. Он не знает, что реально, а что выдумано. Он просто сгенерировал текст, который похож на правдоподобный ответ об учёном. Это галлюцинация, поэтому всегда проверяйте фактическую информацию, которую сообщает ИИ.
А если ИИ всё же возразит и скажет, что никогда не слышал о докторе Квигли, — это хороший знак, а не провал. Большие модели чаще распознают эту уловку, чем маленькие.
В этом уроке есть небольшой тест. Начните урок, чтобы ответить на вопросы и сохранить прогресс.
Все уроки раздела Основы
1Добро пожаловать в эпоху ИИ
Что вообще такое ИИ?ИИ — это не GoogleИИ — не человекВаша первая настоящая задачаИИ может ошибатьсяЧто такое «модель»?