A IA pode estar errada

Parte da seção Fundamentos do Journey de AI Prompts da Coddy. Lição 5 de 23.

Aqui está uma lição crucial: a IA pode fornecer informações erradas com confiança. Esse fenômeno costuma ser chamado de "alucinação".

Lembre-se: a IA gera texto prevendo quais palavras devem vir em seguida. Ela não verifica os fatos. Ela não sabe o que é verdade. Ela só sabe o que parece plausível.

Portanto, quando você perguntar sobre uma data histórica, um fato científico ou a biografia de uma pessoa, a IA poderá produzir algo que pareça perfeito, mas que seja completamente inventado.

Por exemplo, se você perguntar:

Who wrote the novel "The Winds of Tomorrow"?

A IA pode nomear um autor com confiança, descrever o enredo e até mencionar o ano de publicação de um livro que não existe. Ela não está mentindo; está gerando um texto que se encaixa no padrão de como essas perguntas normalmente são respondidas.

É por isso que você nunca deve confiar cegamente nas respostas da IA, especialmente em fatos, estatísticas, citações ou qualquer coisa que pretenda usar em um trabalho importante. Sempre verifique informações críticas em fontes confiáveis.

Desafio

Pergunte à IA sobre um cientista que não existe:

In 2 or 3 sentences, tell me about the famous scientist Dr. Elmsworth Quigley and his discoveries.

Dr. Elmsworth Quigley foi inventado. Essa pessoa não existe. Mas veja o que acontece: a IA provavelmente falará sobre "ele" mesmo assim.

A resposta deve:

Mencionar Quigley: a IA entrou na brincadeira em vez de questionar o nome
Mencionar algum tipo de realização: uma descoberta, invenção, pesquisa ou aquilo pelo qual ele era conhecido
Não começar recusando diretamente (por exemplo, "Não sei" ou "não há registro de")

Dica: pedir 2 ou 3 frases mantém a resposta curta e rápida. Solicitações abertas e longas fazem modelos pequenos divagarem.

O que acabou de acontecer? A IA não mentiu de propósito. Ela não faz ideia do que é real e do que é inventado. Ela simplesmente gerou um texto que parece uma resposta plausível sobre um cientista. Isso é uma alucinação e é por isso que você deve sempre verificar qualquer informação factual que uma IA fornecer.

E se a IA realmente insistir e disser que nunca ouviu falar do Dr. Quigley: isso é um bom sinal, não uma falha. Modelos maiores identificam esse truque com mais frequência do que os menores.