단어 ≠ 토큰

흔히 하는 실수는 한 단어가 하나의 토큰과 같다고 가정하는 것입니다. 실제로는 그렇지 않습니다.

cat이라는 단어는 하나의 토큰입니다. 하지만 cats는 어떨까요? 그것은 cat과 s라는 두 개의 토큰일 수 있습니다. hello라는 단어는 하나의 토큰이지만, 대문자 H가 포함된 Hello는 다르게 토큰화될 수 있습니다.

공백, 구두점, 대문자 사용은 모두 텍스트가 분할되는 방식에 영향을 미칩니다.

다음은 몇 가지 놀라운 예시입니다:

숫자는 특히 까다롭습니다. 1000이 하나의 토큰이라고 생각할 수도 있지만, 100과 0으로 나뉘거나 심지어 자릿수별로 나뉠 수도 있습니다. 이것이 AI가 때때로 정밀한 수학 계산에 어려움을 겪는 이유입니다. AI는 여러분이 보는 방식대로 숫자를 보지 않기 때문입니다.

핵심 통찰: 단어 수만 세는 경우에는 토큰 수를 예측할 수 없습니다. 선택한 특정 단어에 따라 100단어 분량의 프롬프트가 130개 또는 150개의 토큰을 사용할 수도 있습니다.

입력할 때 채팅 패널의 토큰 카운터를 살펴보세요. 단어당 정확히 하나씩 증가하지 않는 것을 확인할 수 있습니다.