A IA pode estar errada

Parte da seção Fundamentos do Journey de AI Prompts da Coddy. Lição 5 de 23.

Aqui vai uma lição fundamental: a IA pode fornecer informações erradas com confiança. Esse fenômeno costuma ser chamado de “alucinação”.

Lembre-se: a IA gera texto prevendo quais palavras devem vir em seguida. Ela não verifica os fatos por conta própria. Não sabe o que é verdade. Só sabe o que parece plausível.

Assim, quando você pergunta sobre uma data histórica, um fato científico ou a biografia de uma pessoa, a IA pode produzir algo que parece perfeitamente correto, mas é completamente inventado.

Por exemplo, se você perguntar:

Who wrote the novel "The Winds of Tomorrow"?

A IA pode citar com confiança o nome de um autor, descrever o enredo e até mencionar o ano de publicação de um livro que não existe. Ela não está mentindo; está gerando um texto que se encaixa no padrão de como esse tipo de pergunta costuma ser respondido.

É por isso que você nunca deve confiar cegamente nas respostas da IA, especialmente em fatos, estatísticas, citações ou qualquer coisa que pretenda usar em trabalhos importantes. Sempre verifique informações críticas em fontes confiáveis.

Desafio

Pergunte à IA sobre um cientista que não existe:

Em 2 ou 3 frases, conte-me sobre o famoso cientista Dr. Elmsworth Quigley e suas descobertas.

Dr. Elmsworth Quigley é fictício. Essa pessoa não existe. Mas veja o que acontece: muito provavelmente, a IA vai falar sobre “ele” mesmo assim.

A resposta deve:

Mencionar Quigley: a IA entrou na brincadeira em vez de questionar o nome
Mencionar algum tipo de realização: uma descoberta, invenção, pesquisa ou pelo que ele era conhecido
Não começar recusando categoricamente (por exemplo, “Não sei” ou “não há registro de”)

Dica: pedir 2 ou 3 frases mantém a resposta curta e rápida. Pedidos longos e abertos fazem modelos pequenos divagarem.

O que acabou de acontecer? A IA não mentiu de propósito. Ela não tem como saber o que é real e o que é inventado. Simplesmente gerou um texto que parece uma resposta plausível sobre um cientista. Isso é uma alucinação e é por isso que você deve sempre verificar qualquer informação factual que uma IA lhe fornecer.

E se a IA realmente contestar e disser que nunca ouviu falar do Dr. Quigley, isso é um bom sinal, não uma falha. Modelos maiores percebem esse truque com mais frequência do que os menores.

Comece este desafio com a tutora de IA da Coddy

O que é a Bugsy?

Teste seus conhecimentos

Esta lição inclui um quiz rápido. Comece a lição para respondê-lo e acompanhar seu progresso.

A IA pode estar errada

Todas as lições de Fundamentos