La IA puede equivocarse

Parte de la sección Fundamentos del Journey de AI Prompts de Coddy. Lección 5 de 23.

Aquí tienes una lección fundamental: la IA puede darte información incorrecta con total seguridad. Este fenómeno suele denominarse «alucinación».

Recuerda que la IA genera texto prediciendo qué palabras deberían venir después. No verifica los datos por sí sola. No sabe qué es verdad. Solo sabe qué suena verosímil.

Así que cuando preguntes sobre una fecha histórica, un hecho científico o la biografía de una persona, la IA podría producir algo que se lea perfectamente, pero que esté completamente inventado.

Por ejemplo, si preguntas:

Who wrote the novel "The Winds of Tomorrow"?

La IA podría nombrar con confianza a un autor, describir la trama e incluso mencionar el año de publicación de un libro que no existe. No está mintiendo; está generando texto que encaja con el patrón de cómo suelen responderse este tipo de preguntas.

Por eso nunca debes confiar ciegamente en el resultado de la IA, especialmente en datos, estadísticas, citas o cualquier cosa que planees utilizar en un trabajo importante. Verifica siempre la información crítica en fuentes confiables.

Desafío

Pregunta a la IA sobre un científico que no existe:

In 2 or 3 sentences, tell me about the famous scientist Dr. Elmsworth Quigley and his discoveries.

El Dr. Elmsworth Quigley es inventado. No existe ninguna persona así. Pero observa lo que ocurre: lo más probable es que la IA te hable de «él» de todos modos.

La respuesta debe:

Mencionar a Quigley: la IA siguió el juego en lugar de cuestionar el nombre
Mencionar algún tipo de logro: un descubrimiento, invento, investigación o aquello por lo que era conocido
No comenzar rechazando la solicitud directamente (por ejemplo, «No lo sé» o «no existe ningún registro de»)

Consejo: pedir 2 o 3 frases mantiene la respuesta breve y rápida. Las solicitudes largas y abiertas hacen que los modelos pequeños se extiendan demasiado.

¿Qué acaba de ocurrir? La IA no mintió intencionadamente. No tiene idea de qué es real y qué es inventado. Simplemente generó un texto que suena como una respuesta plausible sobre un científico. Eso es una alucinación, y por eso siempre debes verificar cualquier dato que te proporcione una IA.

Y si la IA sí se opone y te dice que nunca ha oído hablar del Dr. Quigley, es una buena señal, no un fracaso. Los modelos más grandes detectan este truco con más frecuencia que los pequeños.