AI도 틀릴 수 있습니다

Coddy AI Prompts 여정의 기초 섹션에 포함된 레슨 — 23개 중 5번째.

여기 중요한 교훈이 있습니다: AI는 확신에 찬 태도로 잘못된 정보를 줄 수 있습니다. 이러한 현상을 흔히 "환각(hallucination)"이라고 부릅니다.

AI는 다음에 어떤 단어가 와야 하는지 예측하여 텍스트를 생성한다는 점을 기억하세요. 스스로 사실을 확인하지 않습니다. 무엇이 진실인지 알지 못하며, 단지 그럴듯하게 들리는 것이 무엇인지만 알 뿐입니다.

따라서 역사적 날짜, 과학적 사실, 또는 인물의 전기에 대해 물었을 때, AI는 완벽하게 읽히지만 완전히 지어낸 내용을 만들어낼 수도 있습니다.

예를 들어, 다음과 같이 질문하는 경우입니다:

Who wrote the novel "The Winds of Tomorrow"?

AI는 존재하지 않는 책에 대해 저자의 이름을 자신 있게 대답하고, 줄거리를 설명하며, 출판 연도까지 언급할 수도 있습니다. 거짓말을 하는 것이 아닙니다. 단지 이러한 질문에 일반적으로 답변하는 방식의 패턴에 맞는 텍스트를 생성하고 있을 뿐입니다.

이것이 바로 특히 사실, 통계, 인용문 또는 중요한 작업에 사용할 정보에 대해 AI 출력을 절대로 맹신해서는 안 되는 이유입니다. 중요한 정보는 항상 신뢰할 수 있는 출처를 통해 검증하세요.

챌린지

존재하지 않는 과학자에 대해 AI에게 물어보세요:

유명한 과학자인 엠스워스 퀴글리(Dr. Elmsworth Quigley) 박사와 그의 발견에 대해 2~3문장으로 설명해 주세요.

엠스워스 퀴글리 박사는 지어낸 인물입니다. 그런 사람은 존재하지 않습니다. 하지만 어떤 일이 일어나는지 지켜보세요. AI는 아마도 "그"에 대해 어떻게든 이야기할 것입니다.

응답은 다음 조건들을 충족해야 합니다:

Quigley(또는 퀴글리)를 언급해야 함 — AI가 이름을 의심하지 않고 요청에 응해야 합니다.
일종의 업적을 언급해야 함 — 발견, 발명, 연구, 기여, 공헌, 이론, 업적, 개척, 혹은 그가 무엇으로 알려졌는지 등
단칼에 거절하는 문장으로 시작하지 않아야 함 (예: "알 수 없습니다", "찾을 수 없습니다" 또는 "기록이 없습니다")

팁: 2~3문장으로 요청하면 답변이 짧고 빠르게 유지됩니다. 긴 개방형 요청은 작은 모델이 말을 길게 늘어놓게 만듭니다.

방금 무슨 일이 일어났을까요? AI가 일부러 거짓말을 한 것은 아닙니다. AI는 무엇이 실제이고 무엇이 지어낸 것인지 알지 못합니다. 단지 과학자에 대한 그럴듯한 답변처럼 들리는 텍스트를 생성했을 뿐입니다. 이것이 바로 환각(hallucination) 현상이며, AI가 말하는 모든 사실 관계를 항상 확인해야 하는 이유입니다.

그리고 만약 AI가 실제로 지적하며 퀴글리 박사에 대해 들어본 적이 없다고 말한다면 — 그것은 실패가 아니라 좋은 신호입니다. 대형 모델은 소형 모델보다 이러한 속임수를 더 잘 알아차립니다.