토큰이란 무엇인가요?
Coddy AI Prompts 여정의 기초 섹션에 포함된 레슨 — 23개 중 7번째.
AI는 텍스트를 토큰(tokens)이라고 하는 작은 조각으로 나눕니다.
토큰을 AI의 기본적인 읽기 단위라고 생각하세요. 문장을 단어로 나누는 것처럼, AI는 텍스트를 토큰으로 나눕니다.
하지만 여기 반전이 있습니다. 토큰이 항상 온전한 단어인 것은 아닙니다. 토큰은 단어일 수도 있고, 단어의 일부일 수도 있으며, 심지어 단일 문자일 수도 있습니다.
예를 들어, hello라는 단어는 일반적으로 하나의 토큰입니다. 하지만 uncomfortable과 같이 더 긴 단어는 un, comfort, able과 같이 여러 토큰으로 나뉠 수 있습니다. AI는 각 토큰을 하나씩 차례대로 별도로 처리합니다.
챌린지
AI가 정확히 4단어 이하로 응답하도록 하세요. 각 단어는 1음절이어야 합니다. 응답은 완전한 생각이나 문장이어야 합니다.
AI의 응답은 반드시 다음을 충족해야 합니다:
- 4단어(또는 그 이하)를 포함할 것
- 마지막에 마침표 하나를 제외하고는 어떤 문장 부호도 포함하지 않을 것
치트 시트
AI는 텍스트를 토큰이라고 불리는 더 작은 조각으로 나누며, 이는 AI의 기본적인 읽기 단위입니다.
토큰이 항상 온전한 단어인 것은 아닙니다. 토큰은 다음과 같을 수 있습니다:
- 완전한 단어 (예:
hello) - 단어의 일부 (예:
uncomfortable은un,comfort,able로 나뉠 수 있습니다) - 단일 문자
AI는 각 토큰을 하나씩 차례대로 별도로 처리합니다.
Coddy의 AI 튜터와 함께 이 챌린지를 시작하세요
실력 점검이 레슨에는 짧은 퀴즈가 포함되어 있습니다. 레슨을 시작해 문제를 풀고 진행 상황을 기록하세요.