Menu
CoddyTech

단어 ≠ 토큰

Coddy AI Prompts 여정의 기초 섹션에 포함된 레슨. 23개 중 8번째.

흔히 하는 실수는 단어 하나가 토큰 하나와 같다고 생각하는 것입니다. 그렇지 않습니다.

cat이라는 단어는 토큰 하나입니다. 하지만 cats는요? 토큰 두 개일 수도 있습니다. cat과 s입니다. hello라는 단어는 토큰 하나지만, H를 대문자로 쓴 Hello는 다르게 토큰화될 수 있습니다.

공백, 문장 부호, 대문자와 소문자는 모두 텍스트가 나뉘는 방식에 영향을 줍니다.

다음은 몇 가지 놀라운 예입니다.

텍스트대략적인 토큰 수
dog1
dogs1-2
extraordinary2-3
1234562-6
!!!1-3

숫자는 특히 까다롭습니다. 1000이 하나의 토큰이라고 생각할 수도 있지만, 100과 0으로 나뉘거나 숫자 하나씩 나뉠 수도 있습니다. 그래서 AI는 정확한 계산에 어려움을 겪기도 합니다. AI는 여러분이 보는 방식으로 숫자를 보는 것이 아니기 때문입니다.

핵심은 단어 수만 세면 토큰 수를 예측할 수 없다는 점입니다. 100단어 프롬프트는 선택한 단어에 따라 130개 또는 150개의 토큰을 사용할 수 있습니다.

답변이 끝날 때마다 채팅에는 사용된 입력 및 출력 토큰 수가 표시됩니다. 이 수치를 단어 수와 비교해 보세요. 토큰 수와 단어 수는 일대일로 일치하는 경우가 드뭅니다.

직접 해보기

이 레슨에는 코드 챌린지가 없습니다.

quiz icon실력 점검

이 레슨에는 짧은 퀴즈가 포함되어 있습니다. 레슨을 시작해 문제를 풀고 진행 상황을 기록하세요.

기초의 모든 레슨