단어 ≠ 토큰

흔히 하는 실수는 단어 하나가 토큰 하나와 같다고 가정하는 것입니다. 실제로는 그렇지 않습니다.

cat이라는 단어는 하나의 토큰입니다. 하지만 cats는 어떨까요? 두 개의 토큰인 cat과 s일 수도 있습니다. hello라는 단어는 하나의 토큰이지만, 대문자 H가 있는 Hello는 다르게 토큰화될 수 있습니다.

공백, 구두점, 대문자 사용은 모두 텍스트가 분할되는 방식에 영향을 줍니다.

다음은 몇 가지 놀라운 예시입니다:

텍스트	대략적인 토큰 수
dog	1
dogs	1-2
extraordinary	2-3
123456	2-3
!!!	1-3

숫자는 특히 까다롭습니다. 1000이 하나의 토큰이라고 생각할 수 있지만, 100과 0으로 나뉘거나 숫자 하나씩 분리될 수도 있습니다. 이것이 AI가 정확한 수학 계산에 어려움을 겪는 경우가 있는 이유입니다. AI는 여러분이 숫자를 보는 방식으로 숫자를 보고 있지 않기 때문입니다.

핵심 통찰: 단어 수만 세고 있다면 토큰 수는 예측할 수 없습니다. 100단어로 이루어진 프롬프트가 130토큰을 사용할 수도 있고, 선택한 특정 단어에 따라 150토큰을 사용할 수도 있습니다.

입력하면서 채팅 패널의 토큰 카운터를 지켜보세요. 단어당 정확히 1씩 증가하지 않는다는 것을 알 수 있습니다.