단어 ≠ 토큰

흔히 하는 실수는 단어 하나가 토큰 하나와 같다고 생각하는 것입니다. 실제로는 그렇지 않습니다.

cat이라는 단어는 하나의 토큰입니다. 하지만 cats는요? 두 개의 토큰일 수 있습니다. cat과 s입니다. hello라는 단어는 하나의 토큰이지만, H를 대문자로 쓴 Hello는 다르게 토큰화될 수 있습니다.

공백, 문장 부호, 대소문자는 모두 텍스트가 어떻게 분할되는지에 영향을 줍니다.

다음은 몇 가지 놀라운 예입니다:

텍스트	대략적인 토큰 수
dog	1
dogs	1-2
extraordinary	2-3
123456	2-3
!!!	1-3

숫자는 특히 까다롭습니다. 1000은 하나의 토큰이라고 생각할 수도 있지만, 100과 0으로 나뉘거나 숫자 하나씩 분리될 수도 있습니다. 그래서 AI가 정확한 계산에 어려움을 겪기도 합니다. AI는 여러분이 보는 방식으로 숫자를 보는 것이 아니기 때문입니다.

핵심 통찰: 단어 수만 세면 토큰 수를 예측할 수 없습니다. 100단어 프롬프트는 선택한 단어에 따라 토큰을 130개 사용할 수도 있고 150개 사용할 수도 있습니다.

각 응답 후 채팅에는 사용된 입력 토큰과 출력 토큰의 개수가 표시됩니다. 이 개수를 단어 수와 비교해 보세요. 둘은 일대일로 일치하는 경우가 드뭅니다.