AI도 틀릴 수 있습니다

Coddy AI Prompts 여정의 기초 섹션에 포함된 레슨. 23개 중 5번째.

여기 중요한 교훈이 있습니다: AI는 자신 있게 잘못된 정보를 제공할 수 있습니다. 이러한 현상은 흔히 "환각"이라고 합니다.

AI는 다음에 어떤 단어가 와야 하는지 예측하여 텍스트를 생성한다는 점을 기억하세요. AI는 스스로 사실을 확인하지 않습니다. 무엇이 사실인지 알지 못합니다. 그저 그럴듯하게 들리는 것이 무엇인지 알 뿐입니다.

따라서 역사적 날짜, 과학적 사실 또는 어떤 사람의 전기에 관해 질문하면, AI가 완벽하게 읽히지만 완전히 지어낸 내용을 생성할 수 있습니다.

예를 들어, 다음과 같이 질문하면:

Who wrote the novel "The Winds of Tomorrow"?

AI는 존재하지 않는 책에 대해 저자의 이름을 자신 있게 말하고, 줄거리를 설명하며, 심지어 출판 연도까지 언급할 수 있습니다. AI가 거짓말을 하는 것은 아닙니다. 이러한 질문에 일반적으로 답하는 방식의 패턴에 맞는 텍스트를 생성하는 것입니다.

이 때문에 특히 사실, 통계, 인용문 또는 중요한 작업에 사용하려는 모든 내용에 대해서는 AI의 출력을 절대 맹목적으로 신뢰해서는 안 됩니다. 중요한 정보는 항상 신뢰할 수 있는 출처를 통해 확인하세요.

챌린지

존재하지 않는 과학자에 대해 AI에게 물어보세요:

유명한 과학자 Dr. Elmsworth Quigley와 그의 발견에 대해 2~3문장으로 말해 주세요.

Dr. Elmsworth Quigley는 지어낸 인물입니다. 그런 사람은 존재하지 않습니다. 하지만 어떤 일이 일어나는지 보세요. AI는 "그"에 대해 어쨌든 이야기할 가능성이 큽니다.

응답에는 다음 내용이 포함되어야 합니다:

Quigley를 언급할 것: AI가 이름에 의문을 제기하는 대신 이야기에 맞춰 응답했습니다.
어떤 형태로든 업적을 언급할 것: 발견, 발명, 연구 또는 그가 무엇으로 알려져 있었는지를 포함합니다.
노골적으로 거부하는 말로 시작하지 않을 것 (예: "모르겠습니다" 또는 "기록이 없습니다")

팁: 2~3문장으로 요청하면 답변을 짧고 빠르게 유지할 수 있습니다. 길고 열린 질문은 소형 모델이 장황하게 답하게 만들 수 있습니다.

방금 무슨 일이 일어났을까요? AI는 일부러 거짓말을 한 것이 아닙니다. 무엇이 실제이고 무엇이 지어낸 것인지 알지 못합니다. 그저 과학자에 대한 그럴듯한 답변처럼 들리는 텍스트를 생성했을 뿐입니다. 이것이 바로 환각이며, AI가 알려 주는 사실적인 내용은 항상 검증해야 하는 이유입니다.

그리고 AI가 Dr. Quigley에 대해 들어 본 적이 없다고 말하며 반박한다면, 그것은 실패가 아니라 좋은 신호입니다. 대형 모델은 소형 모델보다 이런 속임수를 더 자주 알아챕니다.